News Cerebras CS-3 mit WSE-3: AI-Beschleuniger in Wafergröße hat 4 Billionen Transistoren

[[wege]mini]

ist lange nicht so komplex wie das menschlichen Denken und Lernen.

Du überschätzt die Menschen.

nd Philosophen wie Wissenschaftler beißen sich bis heute die Zähne daran aus, das Konzept Bewußtsein überhaupt zu fassen

Ja und nein. Es ist aber gut, dass Menschenversuche durch Wissenschaftler, nicht mehr erlaubt sind.

Das einzig bisher gute Modell sehe ich in Metzinger Phänomenales Selbstmodell

So soll es sein. Alles andere, sollte nicht an Universitäten für andere "Wissenschaftler" gelehrt werden.

Angst vor dem Tod

Eine typisch menschliche Eigenschaft. kA, wie oft du das, was man Tod nennt, schon getroffen oder erlebt hast. Davor muss man keine Angst haben. Es ist Teil dessen, was man Leben nennt und einer "KI" die Angst vor dem Tod beizubrignen, wäre schon eine "Todsünde".

Daher, alles was Du meinst darüber zu wissen und zu glauben ist zu wenig, um das Konzept Lernen und Verwerten zu erfassen.

Hier sind wir uns einig. Die Schlüsse, die du daraus ziehst sind aber andere, als ich daraus ziehe.

Ich habe schon so viele "weise" Menschen getroffen, die sich als Fachidioten heraus gestellt haben und daher ungeeignet sind, die Zukunft der Welt zu gestalten und daher nur gut genug sind, die Gegenwart zu verwalten.

Glaubst du, ich würde mein Wissen freiwillig mit denen teilen? Ganz sicher nicht.

mfg

p.s.

Und die Sache mit dem "freien Willen" ist noch nicht ausdiskutiert. Die Welt wäre eine bessere, wenn sich alle an die 10 Gebote halten würden. Es gibt aber diesen "freien Willen" nun einmal und ganz sicher, dürfen von uns gebaute Maschinen so etwas nicht haben. Sonst haben wir Menschen Probleme, die wir uns niemals vorstellen konnten.

Wie sagte Nietzsche? Gott ist tot. Wenn man verstanden hat, was er sagen wollte, ohne es zu sagen, sind wir alle einen Schritt weiter.

 

[nutrix]

Ich verstehe überhaupt nicht, was Du sagen willst, und alles, was Du entgegnest ist in meinen Augen inhaltlos. Du sagst nichts zu lernen, und nichts verwertbarer zur Verbindung zu ML/DL. Du behauptest, menschliches Denken sei Software, ich habe es widerlegt. Du sprichst was von biomechanische Maschinen, was wir auch nicht sind, weil Leben was anderes als künstlich erzeugte Maschinen sind. Und ein Cerebras CS-3 mit WSE-3 wird zwar prima stochastische Berechnungen liefert, bringt uns aber bzgl. echter Intelligenz in KI kaum weiter.

 

[LamaMitHut]

Bald 40 Jahre mit Gehirnforschung und Psychologie als "Hobby" zur IT. Ich verfolge die "KI" schon seit den 80er beim Aufkommen der ersten neuronalen Netzen, und bin an sich eher enttäuscht, was damals alles prognostiziert wurde, und was wir heute im Endeffekt haben... nichts oder kaum. Wir sind noch weit weg von tatsächlich intellignten Systeme (ich sag mal noch bestimmt 50-100 Jahre), da nützt auch ein Cerebras CS-3 mit 4 Billionen Transistoren nichts.

Die entscheidende Schnittstelle zu biologischen Prozessen bzw. Verknüpfen von Elektrotechnik mit Neurologie ist noch lange nicht geschaffen, auch wenn Musk und Co. davon feucht träumen. Da sind wir auch noch meilenweit davon entfernt.

Bei solchen Beiträgen muss ich echt den Kopf schütteln.

Der aktuelle Ansatz ist erst durch massive Fortschritte in der Halbleitertechnik möglich, wie hättest du denn vor 40 Jahren ein Modell trainieren wollen? Mit welchen Daten? Weißt du überhaupt, wieviel RAM Computer damals hatten?

Nur weil es schon Grundlagenforschung gab heißt das noch lange nicht, dass man damit in irgendeiner Form arbeiten konnte.

 

[nutrix]

Bei solchen Beiträgen muss ich echt den Kopf schütteln.

Warum? Weil Du es nicht richtig verstehst, was hinter Intelligenz und Lernen steckt? Hast Du alle Beträge und Schriften in den 80ern dazu intensiv verfolgt? Nur ein Beispiel. Es gab in den 80ern ein Betrag zu KI und Forschung aus Japan, wo mit ersten Robotern und Androiden gearbeitet wurde. Da hatten einige japanische Forscher ernsthaft prognosiziert, daß sie bis 2000 einen Androiden mit dem Verstand eines 12-jährigen Kindes hätten. Davon sind wir bis heute meilenweit entfernt. Tatsächlich schaffen wir in Summe (!) nicht mal die Intelligenz einer Maus. Natürlich schafft man in einzelne eingeschränkten Bereichen Spitzenleistung, aber nicht in Summe mit allen Fähigkeiten, siehe autonomes Fahren.

Also, bevor Du weiter schüttelst, beschäftige Dich bitte erst mal ausführlich mit dem Stand von Gehirnforschung und Co. heute in Verbindung mit Lernen und Intelligenz, und dazu auch, wie ML/DL heute funktioniert! Dann wirst Du nicht mehr mit dem Kopf schütteln außer über Beträge, die was von KI faseln, die es bis heute nicht gibt. Machine Learning und Deep Learning sind die eigentlich richtigen Begriffe dafür, da braucht es das Wort Intelligenz nicht dafür.

Der aktuelle Ansatz ist erst durch massive Fortschritte in der Halbleitertechnik möglich, wie hättest du denn vor 40 Jahren ein Modell trainieren wollen? Mit welchen Daten?

Darum geht es doch gar nicht. Wir haben doch bis heute keine KI oder gar richtiges Lernen, wir haben ML/DL mit mathematischen Methoden, mehr nicht.

Weißt du überhaupt, wieviel RAM Computer damals hatten?

Ja, anscheinend im Gegensatz zu Dir war ich in den 80ern mit C64 dabei. Ich mußte noch optimiert auf weniger als 64KB programmieren.

Nur weil es schon Grundlagenforschung gab heißt das noch lange nicht, dass man damit in irgendeiner Form arbeiten konnte.

Ich bestreite nicht, daß man damit nicht arbeiten könnte, das kann man schon, und die Erfolge sind beeindruckend, keine Frage. Aber das hat alles nichts mit echter KI bzw. echter Intelligenz zu tun. was so überall in den Medien rausposaunt wird. Ja, wir sind mit künstlich neuronalem Lernen etwas weiter und die Dinger sind deutlich schneller geworden, aber das wars dann auch.

 

[LamaMitHut]

@nutrix

Uff. Nein, natürlich verstehen ich nicht genau, was hinter Intelligenz und lernen steckt. Da ist sich die Wissenschaft selbst noch nicht ganz so sicher, Psychologen sprechen von einem sozialen Konstrukt. In das ganze überhaupt messbar? Es wurden schon Schüler als Teilnehmer an einer Studie für Hochbegabung abgelehnt, die hinterher Physiknobelpreise für Teilchenphysik (Luis Walter Alvarez) und Halbleitertechnik (William Bradford Shockley) überreicht bekommen haben. Ihr IQ war zu niedrig, um für die Studie in Frage zu kommen. XD

Warum nutzt du deep learning und machine learning getrennt? DL ist eine Teildisziplin von Machine learning, und beides wird KÜNSTLICHE intelligenz genannt, weil neuronale Netze vom menschlichen Gehirn inspiriert wurden. Darüber kann man sich natürlich künstlich aufregen, aber ob sowas klug ist?...

Den Kopf habe ich übrigens geschüttelt weil du anscheinend felsenfest davon überzeugt bist, dass ML in einer Sackgasse endet - aktuell werden die Algorithmen immer potenter, alle 8 Monate halbiert sich die benötigte Rechenleistung um einen bestimmten Benchmarkscore zu erreichen.

https://t3n.de/news/ki-chatbots-schnellere-entwicklung-computerchips-1616198/

 

[stefan92x]

Es wurden schon Schüler als Teilnehmer an einer Studie für Hochbegabung abgelehnt, die hinterher Physiknobelpreise für Teilchenphysik (Luis Walter Alvarez) und Halbleitertechnik (William Bradford Shockley) überreicht bekommen haben. Ihr IQ war zu niedrig, um für die Studie in Frage zu kommen. XD

Na und? Ich sehe den Witz daran irgendwie nicht. Man muss nicht zwingend hochbegabt sein, um wissenschaftliche Erkenntnisse zu gewinnen. Das ist eben letztlich immer eine Mischung aus der richtigen Idee, einer gewissen Portion Glück und viel Handwerk - ganz doof darf man dafür nicht sein, aber ein Hochbegabter, der der falschen Idee hinterherläuft, wird nie einen Nobelpreis gewinnen. Und tragischerweise weiß man ja oft erst am Ende jahrelanger Arbeit welche Idee richtig oder falsch war, da hilft alle Begabung nichts.

 

[nutrix]

Uff. Nein, natürlich verstehen ich nicht genau, was hinter Intelligenz und lernen steckt.

Aha.

Da ist sich die Wissenschaft selbst noch nicht ganz so sicher, Psychologen sprechen von einem sozialen Konstrukt. In das ganze überhaupt messbar?

Falsch, und ja.

Es wurden schon Schüler als Teilnehmer an einer Studie für Hochbegabung abgelehnt, die hinterher Physiknobelpreise für Teilchenphysik (Luis Walter Alvarez) und Halbleitertechnik (William Bradford Shockley) überreicht bekommen haben. Ihr IQ war zu niedrig, um für die Studie in Frage zu kommen. XD

Du bist hier schon wieder leider vollkommen auf dem Holzweg. Es geht nicht um IQ und Messungen davon, es geht darum, wie Evolution uns mit der Wahrnehmung und kongitiven Prozessen wie Selbstreflexion und Denken ausgestattet hat.

Warum nutzt du deep learning und machine learning getrennt? DL ist eine Teildisziplin von Machine learning, und beides wird KÜNSTLICHE intelligenz genannt, weil neuronale Netze vom menschlichen Gehirn inspiriert wurden. Darüber kann man sich natürlich künstlich aufregen, aber ob sowas klug ist?...

Deshalb
https://datasolut.com/machine-learn...nterschied-Machine-Learning-und-Deep-Learning
Mach mal ein paar Projekte so wie ich damit, dann verstehst Du den Unterschied, wie es oben beschrieben steht. 😉

Den Kopf habe ich übrigens geschüttelt weil du anscheinend felsenfest davon überzeugt bist, dass ML in einer Sackgasse endet

Wo sage ich das bitte genau? Du saugst Dir das gerade aus Deinen Fingern bzw. Interpretierst es so hinein. Natürlich ist ML/DL keine Sackgasse, aber es ist ein spezieller Bereich, der uns echte KI nicht näher bringen wird, weil der Ansatz so alleine falsch ist.

- aktuell werden die Algorithmen immer potenter, alle 8 Monate halbiert sich die benötigte Rechenleistung um einen bestimmten Benchmarkscore zu erreichen.

Ja, dann haben wir haufenweise Zombies (philosopischer Begriff) , die textuell wunderbar antworten, aber nicht im entferntesten die Welt verstehen. Noch besseren und schnellere Chips werden uns da nicht weiterhelfen. Für spezielle Anwendungen ja, aber nicht für das, was wir als Lebenwesen (und damit meine ich auch die Tierwelt) als Gehirnleistung können.

Mal etwas Lesefutter dazu:
Golem - Wie sich Deep Learning vom Gehirn unterscheidet
Es geht in eine andere Richtung mit neuromorphe Computer
Vom ENIAC zum Brainiac: Neuromorphes Computing
Spektrum der Wissenschaft - Mit dem Gehirn als Vorbild zu besserer KI
IIS Frauenhofer - Neuromorphe Hardware

Ob der Weg besser ist, kann noch keiner sagen.

Ergänzung (29. März 2024)

Man muss nicht zwingend hochbegabt sein, um wissenschaftliche Erkenntnisse zu gewinnen. Das ist eben letztlich immer eine Mischung aus der richtigen Idee, einer gewissen Portion Glück und viel Handwerk - ganz doof darf man dafür nicht sein, aber ein Hochbegabter, der der falschen Idee hinterherläuft, wird nie einen Nobelpreis gewinnen. Und tragischerweise weiß man ja oft erst am Ende jahrelanger Arbeit welche Idee richtig oder falsch war, da hilft alle Begabung nichts.

Das ist ja das schöne an unserer universellen Form des Denkens und der Intelligenz, das Ergebnis läßt sich nicht deterministisch vorausberechnen, Herkunft, Entwicklung, Lernen, Bildungsweg... all das gibt keine Garantie für etwas. Sondern nur der richtige Zeitpunkt, wo jemand es schafft, Dingen so miteinander zu verbinden und zu verknüpfen, daß etwas neues oder anderes entsteht oder etwas weiter entwickelt wird.

 

[LamaMitHut]

@stefan92x eben, das ist ja der Witz. Weder Schulnoten, noch IQ-tests oder sonst was kann als stichhaltiger Nachweis herhalten.

@nutrix okay, ich glaube wir haben etwas aneinander vorbei geredet, bzw. Ich habe dich missverstanden. Du hast oben geschrieben das wir noch viele Jahre von einer KI entfernt sind, und mir war nicht klar, dass du eine ganz andere Definition von KI hast. Ist das nicht eher ein künstliches Bewusstsein, bzw eine Maschinen-Seele?

Ich bin jedenfalls gespannt, was da noch kommt. Möchte mich auch nicht streiten, besonders wenn ich in einer Debatte den kürzeren ziehen könnte. ;-)

 

[nutrix]

Ich nehme eben das I in KI wörtlich für Intelligenz. Und das haben wir bisher leider nicht. Vorgegebene stochastische Methoden und Algorithmen hat eben nichts mit Intelligenz zu tun, es ist reine Mathematik auf Rechnenwerken, überspitzt formuliert. Und ich schreibe ja auch immer was von echter oder "starker" KI, als etwas, was eine Art rudimentäres Bewußtsein und Wahrnehmung hat, und anhand dieser Eindrücke und Erfahrungen richtig lernen kann. Ich glaube schon, daß man das bald künstlich nachbauen kann. Aber eben nicht das, was aktuell damit verbunden und postuliert wird. Und keine Frage, das was aktuell erreicht werden kann, ist eindrucksvoll und ein wichtiger Schritt. Aber wir brauchen mehr, viel mehr.

 

[LamaMitHut]

@nutrix

Da dich das Thema so sehr interessiert, habe ich hier einen spannenden Ansatz: In diesem Artikel stellen die Autoren eine neue Methode namens Evolutionary Model Merge vor. Diese Methode nutzt evolutionäre Algorithmen, um existierende Open-Source-Modelle mit unterschiedlichen Fähigkeiten optimal zu kombinieren. Damit soll die Entwicklung neuer leistungsfähiger Foundation Models automatisiert werden.

https://sakana.ai/evolutionary-model-merge/

(Okay, bei der Zusammenfassung hat mir ein Bot unter die Arme gegriffen)

 

[lynx007]

Würde mich interessieren wie hoch der Yield bei den Monstern ist wenn ein einzelner Defekt den ganzen Wafer zu Müll macht.

Soll 100 % sein!

https://www.anandtech.com/show/1662...ne-two-wse2-26-trillion-transistors-100-yield

Man baut den Prozessor einfach um den Fehler(Wahrscheinlichkeit) herum! Kluge Köpfe können das. Warum soll ich einen gesamten Waffer wegwerfen, nur weil anstelle XY nicht funktioniert? Funktioniert ja trotzden der Rest. Sie bleiben vermutlich ja auch nicht zu Hause, nur weil irgendwo auf dem Arbeitsweg eine einzige Straße gesperrt ist, oder?

 

[boonstyle]

Man baut den Prozessor einfach um den Fehler(Wahrscheinlichkeit) herum! Kluge Köpfe können das.

Das hat nichts mit klugen Köpfen zu tun sondern ist Industriestandard, Prozessoren mit defekten erhalten, sofern dies möglich ist, Teilabschaltungen und werden dann als das nächstschlechtere Tier verkauft.

Der Unterschied ist nur, dass man z.B. bei Ampere ein GA102 auf vollen Ausbau plant und dann ggf. runterstuft und hier wohl mit 1.5% Fehlerquote quasi immer "überproduziert". Ob man dass dann noch 100 Yield nennen kann bin ich mir nicht sicher.