News Dojo: Tesla zeigt eigenen D1-Chip und ExaFLOPS-Supercomputer

[#basTi]

Aeeeeh, nein?!?! Eine A100 in der SXM-Version, welche die vergleichbare Option hier ist, hat >312 TFLOPS BFloat16 in der 400W Version. Hiervon gibt es auch eine nicht-gelistete 500W Version. Also ist die Performance effektiv ebenbuertig.

Tesla verwendet meines Wissens nach aktuell die A100er.
Die D1 sollen u.a. eine bessere Effizienz haben als die A100.

 

[harrysun]

Tesla löst Probleme die nur Tesla hat. Da wundert es mich nicht das NVidia hier keine Individualentwicklung anstrebt... Noch viel interessanter wird sein wofür die Rechenleistung benötigt wird? Fürs autonome fahren alleine ist das Ressourcenverschwendung mMn.

 

[#basTi]

Noch viel interessanter wird sein wofür die Rechenleistung benötigt wird?

Vorerst: Trainieren des neuralen Netzes anhand von Videos

 

[CiX]

Tesla löst Probleme die nur Tesla hat. Da wundert es mich nicht das NVidia hier keine Individualentwicklung anstrebt... Noch viel interessanter wird sein wofür die Rechenleistung benötigt wird? Fürs autonome fahren alleine ist das Ressourcenverschwendung mMn.

Um eines Tages auf dem Mars zu landen, Elons Heimatplaneten

 

[icemanspirit]

Tesla verwendet meines Wissens nach aktuell die A100er.
Die D1 sollen u.a. eine bessere Effizienz haben als die A100.

Ja, aber da machst Du es Dir leicht zu einfach. Es gibt >5 Versionen von der A100. Je nach gewaehltem Vergleichspunkt sieht die Marketingzahl natuerlich besser oder schlechter aus.

Fakt ist, dass man mit einer heutigen A100 die gleiche Leistung erreichen kann auf der Basis eines einzelnen Chips.

Den Vorteil sehe ich hierbei eher in dem custom-Interconnect der andere Kommunikationsmuster erlaubt. At-scale Training mit NVIDIA Clustern ist ein ziemliches Problem. Allgemein ist at-scale Training von neuronalen Netzwerken ein nicht-triviales Problem.

Auf der Basis einez einzelnen Chips bleibe ich aber dabei, dass diese 2022er Chips nicht kompetitiv am freien Markt sein werden ausserhalb Ihres Verbundes.

 

[#basTi]

Auf der Basis einez einzelnen Chips bleibe ich aber dabei, dass diese 2022er Chips nicht kompetitiv am freien Markt sein werden ausserhalb Ihres Verbundes.

Stimme dir zu.
Aber das müssen sie ja auch gar nicht.

 

[Damien White]

Vielleicht wenn GF an die Börse geht.

Jop, das meinte ich.

 

[v3locite]

Ich frage mich nur wieso sollte ich unbedingt autonom fahren wollen?

Gegenfrage: Schon mal zwei Std. täglich über die A3 gependelt? Ich vermute nicht.

mit was bitte schön sollte ich mich auf einer langen fahrt beschäftigen als mit dem bedienen eines fahrzeugs.

Na ja, was machst du in öffentlichen Verkehrsmitteln? Das dann halt. Es sei denn, du bist Busfahrer ...

 

[Odysseus277]

Noch viel interessanter wird sein wofür die Rechenleistung benötigt wird?

Aber genau darum geht es doch: Der Dojo-Supercomputer soll das neuronale Netzwerk trainieren, welches dann auf den FSD-Computern in den Tesla-Fahrzeugen läuft, um autonom zu fahren. D.h., durch die massive, spezialisierte Rechenleistung werden Fahrsituationen simuliert, analysiert und trainiert.

 

[TenDance]

Ich frage mich nur wieso sollte ich unbedingt autonom fahren wollen? damit mir die werbeindustrie während dieser zeit noch mehr werbung von irgendeinem scheiß den ich nicht benötige eintrichtern kann? oder weil ich während dieser zeit noch irgendeinen anderen scheiß machen kann, der nicht mit autofahren zu tun hat, mit was bitte schön sollte ich mich auf einer langen fahrt beschäftigen als mit dem bedienen eines fahrzeugs.
Zumal ich sowieso Radfahrer bin, muss ich mich dann mit der KI von autos herumärgern weil sie zuvorsichtig oder nicht sind.

Wenn ich einen stressigen Tag hab hätte ich prinzipiell nichts dagegen wenn das Auto alleine heim fährt damit ich die Kleinkinder bespaßen kann...

Alternativ: mit e-Fahrzeugen wird das quasi luxuriöses Pendeln. Kannst wie in der Bahn vorarbeiten.

 

[Der Puritaner]

Gegenfrage: Schon mal zwei Std. täglich über die A3 gependelt? Ich vermute nicht.

2 jahre mit einem LKW rund um Frankfurt und umgebung und 3 jahre, 3 stunden täglich über die A5 ich frage mich heute noch wofür, völlig unnötiger scheiß gewesen aber das ist eben 15 jahre her, da hat man noch sein leben auf der autobahn verbracht.

 

[icemanspirit]

Stimme dir zu.
Aber das müssen sie ja auch gar nicht.

Da waere ich vorsichtig.. Nur wenn die Chipentwicklungskosten + Betriebskosten unter der Loesung bei einem anderen Anbieter liegen wird sich dies wirklich bezahlt machen.

Ich wuerde hierbei insbesonders das Risiko von neuen neuronalen Netzwerken anprangern. Jetzt gerade sind wir in der Phase der Transformer-Architekturen, Convolutional Networks sterben immer weiter aus, und was ist wenn der naechste Schritt ganz andere Hardware erfordert? Dann wird man diese Maschine sofort vom Netz nehmen muessen, und das gesamte Geld wurde in den Sand gesetzt.

Bei dem Einkaufen von externen Loesungen (NVIDIA, Google TPUs, Amazon Trainium, Microsoft's Trainingschip, AMD's Mi200, Intel's Ponte Vecchio) laedt man dieses Risiko bei den anderen Herstellern ab.

 

[flappes]

Fürs autonome fahren alleine ist das Ressourcenverschwendung mMn.

Tja, da sehen wohl die Tesla Ingenieure, Entwickler und Programmierer anders, aber was wissen die schon.

 

[Autokiller677]

Zumindest fahren "die anderen" nicht gegen einen LKW weil die Tesla-Software den LKW für ein Hinweisschild hält.

Nicht? Tesla tut sich mit dem Marketing als "Autopilot" halt keinen Gefallen.

Aber ich hab schon bei Audi, VW und BMW auf der Autobahn Momente erlebt, wo ich kräftig in die Eisen steigen musste, weil die ACC nicht gebremst hat - oder zumindest nicht bis zu dem Moment, wo ich dann kräftig gebremst hab. Eventuell hätten die noch eine Notbremsung hingelegt im letzten Moment, aber das wäre es auch gewesen.

Das Gegenteil hab ich zumindest bei VW und Audi auch schon erlebt: Plötzlich sagt das Display "Tempo 60 erkannt" (manchmal, weil die Ausfahrt, auf der man aber gar nicht fährt 60 hat, aber auch einfach mal ohne jedes Schild, eventuell war da noch was falsches im Kartenmaterial) während ich mit 140 unterwegs bin und das Auto bremst kräftig.

Ich bin im Frühjahr 1200km mit zwei Golf 8 (jeweils 600 mit jedem, Mietwagen halt) mit viel Schnick-Schnack gefahren - ich hatte noch nie ein Auto, dass mich so sehr mit schlecht funktionierender Technik genervt hat.
Die oben angesprochenen nicht- und falsch-gebremst Momente waren dabei, dann ging plötzlich mal auf freier Strecke die Kollisionswarnung los - hat sich zum Glück wieder gefangen, bevor die Notbremsung ausgelöst wurde. Im Stau mit Stop & Go war er auch mal plötzlich der Meinung, es wäre kein Auto mehr vor mir und hat Gas gegeben - noch ein Moment, wo ich schnell auf die Bremse treten musste.
Regelmäßig wurde ich angepiept, ich soll meine Hände ans Lenkrad tun - obwohl sie dran waren.
Selbst sowas simples wie die Klimaautomatik lief nicht gut - bei beiden Autos gab es zwischendurch einen Temperaturpunkt, wo sie nicht klar kamen. Da wurde bei Einstellung 20° Vollgas gekühlt, und bei 20,5° ging die Heizung Vollgas los - obwohl eigentlich nur Temperatur halten angesagt war, war mitten während der Fahrt. Und einfach nur Lüftung ohne Temperaturregelung konnte man auch nicht haben (ich hab zumindest in dem Menü keinen Weg gefunden, um nur Gebläse ohne Regelung zu bekommen).
Die Krönung: Man hat ein paar € gespart und der Bildschirm hat kein Multi-Touch, um in Karten zu zoomen muss man auf irgendwelche Knöpfe drücken.

Es gab auch Abschnitte wo es gut lief, und ich 150km weder Gas noch Bremse betätigen musste, sondern die ACC einfach gut gefahren ist - da macht das dann schon Spaß. Aber in diesem Fall waren die nervigen Punkte für mich zu viel des Guten und ich würde das Auto nicht kaufen wollen.

Ich fahre sonst häufig einen Renault Zoe vom Carsharing - ja, das hat nicht so viele Features, aber das was da ist, funktioniert besser. Der "Hand ans Lenkrad" Ton hat mich da noch nie falsch angepiept (ist aber da, hab es mal provoziert), der Touchscreen kann Multi-Touch und die Klima-Automatik läuft einfach.

Die Hersteller sind alle noch nicht wirklich "da", wenn man die System mal wirklich durch ein paar brenzlige Situationen schiebt, und quasi überall sind selbst die ganzen Level 2 Systeme noch mehr oder weniger Beta am Kunden.
Bei Tesla bringt es halt schön viele Klicks, das zur Headline zu machen, und durch das bescheuerte Marketing als "Autopilot" schätzen viele Menschen die Fähigkeiten des Systems auch falsch ein.

Wenn ich mir die Videos, die es aktuell von der FSB-Beta im Netz gibt so anschaue, habe ich schon das Gefühl, dass Tesla bei der ganzen Nummer ziemlich weit ist. Wobei ein Vergleich schwer fällt, weil es Material dieser Art (Betrieb auf Serienhardware bei normalen Kunden & auf Strecken, die diese Kunden halt fahren, nicht irgendwelche ausgewählten Wege fürs Werbevideo) von anderen Herstellern einfach nicht gibt. Daher ist es - finde ich - unmöglich zu sagen, ob da irgendwer signifikant die Nase vorne hat.

 

[sNo0k]

Bei dem Einkaufen von externen Loesungen (NVIDIA, Google TPUs, Amazon Trainium, Microsoft's Trainingschip, AMD's Mi200, Intel's Ponte Vecchio) laedt man dieses Risiko bei den anderen Herstellern ab.

Und das lassen die sich auch ganz gut bezahlen.
Ist 'ne kaufmännische Abwägung, die Entscheidung ist offensichtlich zugunsten der Eigenentwicklung gefallen.

 

[Biedermeyer]

Ich frage mich nur wieso sollte ich unbedingt autonom fahren wollen? ...mit was bitte schön sollte ich mich auf einer langen fahrt beschäftigen als mit dem bedienen eines fahrzeugs.
Zumal ich sowieso Radfahrer bin, muss ich mich dann mit der KI von autos herumärgern weil sie zuvorsichtig oder nicht sind.

Lass dir ein Rad-Hometrainer ins Auto bauen. Da hast du was zu tun waehrend der Fahrt.

 

[Gast0ne]

Ist 'ne kaufmännische Abwägung, die Entscheidung ist offensichtlich zugunsten der Eigenentwicklung gefallen.

Glaube ich nicht. Tesla ist Elon's Spielwiese, da macht er einfach, was ihm so Spaß macht.

 

[-Ps-Y-cO-]

Beeindruckendes Design.
Das sind trotzdem ziemlich große Chips - wie hoch die Yields wohl sind?

50Mrd.Transistoren @7nm
Die Yield wird relativ schlecht sein.
Jede Wette.

Interessant von Tesla!

Nvidia ist wohl nur zur Überbrückung gewesen. Um Know-how zu entwickeln genereller Art.

AMD Infotainment System wird das gleiche blühen.

Und das ganze ist ziemlich beeindruckend von Tesla. (In so mir nichts dir nichts 2-Weltmarktführer zu Kontern)

 

[icemanspirit]

Ist 'ne kaufmännische Abwägung, die Entscheidung ist offensichtlich zugunsten der Eigenentwicklung gefallen.

I won't complain - sie bauen auf LLVM in der Compilerlayer, welches einige meine LLVM Code-Commits fuer GPUs & optimales ASIC-Rechnungsscheduling benoetigen wird

 

[ErichH.]

Ich wuerde hierbei insbesonders das Risiko von neuen neuronalen Netzwerken anprangern. Jetzt gerade sind wir in der Phase der Transformer-Architekturen, Convolutional Networks sterben immer weiter aus, und was ist wenn der naechste Schritt ganz andere Hardware erfordert? Dann wird man diese Maschine sofort vom Netz nehmen muessen, und das gesamte Geld wurde in den Sand gesetzt.

Na ja... die grundlegende Matrizenberechnung ist doch mehr oder weniger gleich.
Außerdem sind Transformer der Ersatz für "einfache" recurrent nets (RNN, LSTMs, GRUs...), welche im Bereich der Sequenzmodellierung genutzt werden. Mit ConvNets und ihren modernen Ablegern lassen sich immer noch am besten Features aus Bilddaten extrahieren. Und für Sequenzen mit festen Längen sind inzwischen ConvNet-Modelle ähnlich gut wie Transformer, haben aber deutlich weniger Parameter.