Notiz Intel Omni Path: Fabric-Lösung in eigenes Unternehmen ausgegliedert

[Volker]

Mit viel Aufmerksamkeit gestartet war es zuletzt ruhig geworden um Intel Fabric-Lösung Omni Path. Jetzt steht fest warum, denn Intel hat die Sparte ausgegliedert. Die Arbeit wird fortan von Phil Murphy, dem Chefarchitekten von Omni Path, im Unternehmen Cornelis Networks fortgesetzt.

Zur Notiz: Intel Omni Path: Fabric-Lösung in eigenes Unternehmen ausgegliedert

 

[Piak]

Warum ist AMD "Infinity Fabrik" und ARM hier kein Gegenspieler? Wo ist also der Anwendungsbereich Unterschied von der Intel Fabrik ?

 

[Makso]

@Piak man eh kannst du Gedanken lesen?

 

[ameisenbaer]

Warum ist AMD "Infinity Fabrik" und ARM hier kein Gegenspieler? Wo ist also der Anwendungsbereich Unterschied von der Intel Fabrik ?

Die Reichweite - oder wie willst mit Infinity Fabric ganze Computer und Racks vernetzen.....

 

[Piak]

@ameisenbaer: dann erkläre was ist die Intel Fabric , dass steht leider nicht im Text

 

[ameisenbaer]

Aus dem Artikel
" Fabric in den meisten Datacentern und Supercomputern zum Einsatz kommt "

Vernetzung (mit Kabeln) von den einzelnen "Computern" bei HPC, Datacenter etc.

Alternative zu InfiniBand.

 

[SoDaTierchen]

@Piak: (ehemals) Intels OmniFabric ist als eine Art Ende-zu-Ende-Kommunikation konzipiert und soll eigentlich Infiniband ablösen, da es besser skalierbar und kostengünstiger sein soll (Quelle Intel). So wie (ehemals) Mellanox das betreibt.
AMDs Infinity-Fabric ist nur für die Inter-Chip-Kommunikation geeignet, also z.B. die Kommunikation vom IO-Die mit den CCDs auf den Ryzen-Prozessoren oder die Kommunikation der CUs auf den GPUs untereinander. AMDs Lösung eignet sich daher Stand heute nicht für die Kommunikation über längere Strecken als wenige Millimeter und steht deshalb auch nicht in Konkurrenz. ARM hat zumindest meines Wissens hier keine Lösung, weder für Kurzstrecke noch für Rechner-Kommunikation.

 

[[wege]mini]

Alternative zu InfiniBand.

Ja und nein.

https://de.wikipedia.org/wiki/Intel_Omni-Path

Die Intel Lösung soll "billiger" werden. Komisches Wort in dem Zusammenhang.

mfg

 

[Simon]

Man gliedert es in ein separates Unternehmen aus, welches dann in ein paar Jahren von sich aus stirbt. Eigentlich schade, denn zumindest bei der ein oder anderen HPC-Installation konnte die OPA ja punkten.

Den Highspeed-Interconnect-Bereich hat man bei Intel in den letzten 3-4 Jahren sträflich vernachlässigt. Die 800er Ethernet NICs sind immer noch nicht da und OPA wird jetzt quasi eingestampft, weil man keine neuen Generationen auf die Kette gebracht hat. Alles aber aus meiner Sicht eine indirekte Folge dessen, dass man immer noch bei PCIe 3.0 festhängt, was jegliche Lösungen jenseits der 100G praktisch ausschließt.

Damit geht die Zukunft voll in Richtung Nvidia mit der Mellanox Integration und/oder propetiären Lösungen wie Shasta.

 

[bensen]

Das macht Sinn. Als eigenständige Firma können sie das Produkt viel besser außerhalb von Intel an den Mann bringen. Jetzt muss das Produkt nur noch taugen.

 

[Kampfkeks94]

Als weitere Alternative könnte man HPE Slingshot nennen.
https://www.hpe.com/de/de/compute/hpc/slingshot-interconnect.html

und TofuD des Fugaku Hochleistungsrechners
https://www.fujitsu.com/global/Images/the-tofu-interconnect-d-for-supercomputer-fugaku.pdf

 

[Hayda Ministral]

Mit viel Aufmerksamkeit gestartet war es zuletzt ruhig geworden um Intel Fabric-Lösung Omni Path. Jetzt steht fest warum

Ich kann es kaum abwarten, die Gründe zu erfahren. Wird es dazu einen Artikel geben?

 

[senf.dazu]

Mich würd vor allem mal interessieren auf was Intel bei der Vernetzung der eigenen Supercomputer setzt.

Geht der Trend jetzt langsam wieder zu Ethernet nachdem die Übertragungsebene wohl eh endgültig auf optische Transceiver gewechselt ist - aber mit irgendeiner oder weiter allen integrierten RDMA Lösung (convergent, over UDP1,2, over TCP) - so das der kleine Unterschied zwischen den Konkurrenten Infiniband, Omnipath, Ethernet eh "nur" noch die Protokollebene betrifft ? Dazu sei angemerkt das Mellanox seit langem zweisprachige Adapter und Switches baut - die lassen sich je Port auf Infiniband oder Ethernet umstellen.

Oder gibt's vielleicht mal was Neues - z.B. etwas wie eine Professional Variante von USB4/TB4 - als integriertes Protokollsammelsurium aber mit entsorgten ollen Kamellen wie altbackene Ethernet Controller&Co ? Her mit der reinrassigen vollintegrierten DMA/MultiProtokollRouterEngine/SerDes/PAM4+ Lösung, der Rest sei Software ?

Dem USB4 Consumer fehlt ja auch noch Netzwerk im Protokollsammelsurium .. und natürlich der dazu auch notwendige Übergang von Kupferstrippen auf Glasfaser (Leitungslänge). Schließlich hat Intel ja gerade Hardware für USB4 Router (äh Hubs) gebaut - solche in den Consumerprozessoren wie auch stand alone für USB4-Hubs und für USB4 Docks .. zwar "nur" für 40G auf 2 Leitungspaaren je Richtung .. Das klingt doch eigentlich nach einem Aufwasch, denn 40G reicht ja inzwischen für DP2.0 und HDMI2.1 schließlich auch nicht mehr, das ruft nach USB mit 80G (äh 77G) ?

Eigentlich würd ich erwarte das die Ausgliederung nur spezifisch Omnipath "Adapter" nicht aber die Intel 100G und 400G Switches und Transceiver/Si Photonics betrifft ?

Die "Fortschritte" von Nvidia/Mellanox bei Infiniband find ich übrigens auch nicht ganz so toll - die mögen inzwischen PCIe4 Adapter haben - die dann für 200G Infiniband gut sind. Aber 200G Infiniband a la Mellanox ist wohl nix anderes als 100G verdoppelt, reine Fleißarbeit. Der tiefergelegte Infiniband (d)QFSP Stecker hat dann halt 8 Leitungspaare statt 4 je Richtung. Von 400G nix zu sehen. Dafür reicht auch ein PCIe4x16 Slot nicht. Da brauchts dann schon eher ein PCIe5.0x16 oder gleich Intel CXL mit demselben. Optische Transceiver scheinen wohl gleich eher den Sprung von 100G auf 400G zu machen. Und wie lange die noch im QFSP(oder ähnlich) Gehäuse bleiben statt z.B. auf's Prozessor/Switchboard zu wandern muß man sich wohl auch fragen. Die Verlustleistung wird vielleicht nicht kleiner als bei den 100G Transceivern im QFSP Steckergehäuse (bis zu 3W?) ?

 

[Hayda Ministral]

Intel...eigene Supercomputer...? Hab ich was verpasst?

Was mir noch vage im Gedächtnis war: schon vor geraumer Zeit berichtete Intel über silizium-photonische Chips. Mein Gedächtnis sagt es gab Pläne, diese direkt in die CPU zu integrieren (Chiplets lassen grüßen?). google spuckt aber nichts aktuelles dazu aus, es scheint als seien diese Pläne stillschweigend vergraben worden.

 

[senf.dazu]

https://www.intel.de/content/www/de...con-photonics/silicon-photonics-overview.html

https://www.marketsandmarkets.com/Market-Reports/optical-transceiver-market-161339599.html

https://community.fs.com/de/blog/silicon-photonics-and-lasers-in-100g-optical-transceivers.html

https://community.fs.com/de/blog/optical-transceiver-market-200g-400g.html

https://www.fs.com/de/c/100g-400g-transceivers-3859?400g=21810
https://www.fs.com/de/products/96982.html

Mal ein paar wahllose Links zum Thema optische Transceiver. Im Augenblick zeigen die wohl wie bislang immer noch keine Tendenzen in die Geräte zu wandern sondern sind nach wie vor im (Monster-)Stecker der optischen Kabel (QFSP,QFSP-DD,OFSP,..) zu finden. Der Markt liegt wohl aktuell im Bereits mehrere Mrd $ mit viel Wachstum. Vor einiger Zeit war mal irgendwo zu lesen das Intel im 100G Bereich die führende Nummer ist aber das ist schon etwas her. Wie rund es für Intel in dem Sektor aktuell läuft vermag ich nicht zu sagen, die letzten Meldungen von Intel liegen schon etwas zurück ..

An Entwicklungsschritten ist wohl grundsätzlich drüber sinniert worden die Transceiver ins Gerät zu holen - erst auf das PCB, ganz am Ende vielleicht in die CPU. Sprich außerhalb des Geräts dann nur passive Glasfaserkabel. Die Verlustleistung für die 100G lag wohl bereits in der Gegend 3W und die wird wohl nicht unbedingt mit der Datenrate sinken .. die Kühlung der aktuellen aktiven Stecker wird da vielleicht irgendwann zum Problem das mag im Gerät besser gehen. Allerdings gibt's wohl genauso viel optische Parametersätze für diese Stecker wie alphaFische im Transceiverteich. Das könnte eine dann vielleicht nötige Einigung vielleicht etwas schwierig machen.

Für die (Glasfaser)Vernetzung von Großcomputern (viele Schränke untereinander) ist das aber inzwischen die Technik der Wahl. (100G seit etlichen Jahren). Auch Intel hat sich da ja vor vielen Jahren (10?) Netzwerktechnik (Infiniband - QLogic) und eine Switchsparte für Supercomputer (Cray) zusätzlich zu der eigenen Infiniband Sparte dazugekauft. Und dann Infiniband eingestampft und stattdessen den neuen Star Omnipath aus der Taufe gehoben. Eigentlich mit der erklärten Absicht das irgendwann auch frei verfügbar zu machen. (Ähnlich wie vorher mal Infiniband.. (1999?) und PCIe(2002?)). Kurz nach(?) dem NVidia/Mellanox Deal hat Intel dann allerdings Omnipath abgekündigt. Das die Ausgliederung in eine neue Firma nun der ausschlaggebende Faktor war - darüber kann man allerdings gut spekulieren. Zumindest ist Intel damit vielleicht den Support der Altkunden erstmal los.

Eigentlich wär ne massenproduktionsreife Herstellung von Transceivern auch für USB4-ff ganz schön - damit könnte man endlich das Problem mit der Kabellänge lösen und auch mal über Datenrateverdopplung(en) (insbesondere mit DP2.0/8k im Blick) nachdenken. Aber um wirklich nennenswert preiswerter (und damit im Consumermarkt "erfolgreicher") als 10GbE zu werden braucht's wohl wirklich Stückzahlen und Massenproduktion .. sprich etwas wie Si-Photonics - und (mal wieder) - das Mitziehen des gesamten USB-Forums an einem gemeinsamen Transceiverkonzepts und elektro-optischen Steckern .. dicke Eisen. Nicht zu vergessen - auf irgendeine Art von Integration von Netzwerktechnik ins USB Protokollsammelsurium müßte man sich auch noch einigen .. sonst ist USB5(?) nur halber nicht wirklich überzeugender Kram. Die Frage ist vielleicht nicht mal ob das kommt - eher wann ..

 

[rg88]

AMDs Infinity-Fabric ist nur für die Inter-Chip-Kommunikation geeignet, also z.B. die Kommunikation vom IO-Die mit den CCDs auf den Ryzen-Prozessoren oder die Kommunikation der CUs auf den GPUs untereinander. AMDs Lösung eignet sich daher Stand heute nicht für die Kommunikation über längere Strecken als wenige Millimeter ...

Da solltest du dich mal nochmal informieren. Das stimmt so nicht was du schreibst.
Was du beschreibst ist Infinity Fabric On-Package.
Es gibt aber noch Infinity Fabric InterSocket. Dabei kommunizierst du über deutlich längere Strecken als ein "wenige Millimeter". Ansonsten wäre ja IF ein Rückschritt im Vergleich zu HyperTransport geworden, wenn man damit keine Multi-CPU-Plattformen verbinden könnte.

 

[SoDaTierchen]

@rg88: Inter-Socket-Kommunikation ist Kommunikation auf einem Board. Klar, die Formulierung "wenige Millimeter" ist sehr unpräzise und daher Streitpunkt. Du kannst aber mit Infinity Fabric keine 2 Endpunkte über ein austauschbares Kabel miteinander verbinden. Darauf wollte ich eigentlich hinaus, die Formulierung ist mir beim ersten Post aber nicht eingefallen.
Falls jemand noch ein wenig mehr dazu lesen möchte: Wikichip - Infinity Fabric.

 

[Piledriver]

China wird Nvidia kein grünes Licht geben für die ARM Übernahme. Dies aus mehreren Gründen. Also alle mal entspannen.

 

[senf.dazu]

China wird Nvidia kein grünes Licht geben für die ARM Übernahme. Dies aus mehreren Gründen. Also alle mal entspannen.

China ?

 

[Hayda Ministral]

Es sollen angeblich mehrere Mitarbeiter von Nvidia Kaffeemaschinen chinesischer Fertigung besitzen. Es Ist in der Denkweise mancher Leute total logisch, dass damit China ein Vetorecht bei der Übernahme von ARM durch Nvidia haben soll.