News GPT-4-Nachfolger enttäuschen: Neue KI-Modelle von OpenAI, Anthropic und Google stoßen an Grenzen

[calluna]

z.B. Einleitend für Laien wie es im Groben funktioniert und vor allem welche Komponenten / Lösungen von welchen Herstellern auf dem Markt benötigt sind / werden.

Im einfachsten Fall… Matrix A * Vektor x. 😉
Ich bin mir sicher, dass es dazu einen gut geschriebenen Wikipedia-Artikel gibt.
Gute Bücher, die es Laien erklären, welche zumindest die Mathematik bis zur 11/12 Klasse kennen, gibt es einige. (Schau mal bei Oreily oder mitp-Verlag vorbei)

Und dass die Mathematik hinter der Inferenz so simple ist, führt auch zur Antwort deiner Frage nach den Komponenten… eine NPU kann sehr viele + und * mit geringer Genauigkeit ausführen… eine komplizierte Logik wie bei CPU-Kernen braucht es nicht.

 

[cupidstunt]

Dennoch habe ich bei jeder KI-News in diesem Computerforum immer wieder den Eindruck, als wäre es eher ein Autoforum oder so. Es würde mich überhaupt nicht wundern, wenn gefühlt >80% der Nutzer hier überhaupt nichts mit KI zu tun haben und maximal die "Chatbots" getestet haben. Und dann auch noch mit extrem schlechten Prompts...

Genau das ist es. Wenn hier auch nur das Wort KI erscheint, ist vorhersehbar, was ein großer Teil der Kommentatoren so schreibt. Da wirkt das Board dann viel weniger wie ein aufgeschlossenes Technikforum als viel mehr wie eine Ansammlung Reaktionärer, die kurz und knapp KI abkanzeln. "KI ist nicht intelligent" und solche merkwürdigen Stellvertreterdiskussionen werden dann vom Zaun gebrochen.

KI darf und muss kritisch betrachtet werden. Vor allem die Entwicklung, die einen stark marktwirtschaftlichen Fokus hat. Aber es ist auch nicht so schlimm keine Meinung dazu zu haben, wenn man nicht versteht, was es eigentlich ist und was man damit so machen kann.

 

[vandenus]

Naja die reale Welt ist in vielen Bereichen analog - die Daten gehen sicher nicht so schnell aus

Vielleicht wenn man auf atomarere Ebene oder auf Ebene der Quarks etc ist....

Es ist in ganz ganz vielen Bereichen lediglich eine Frage wie genau will oder sollte oder muss man die Realdaten abbilden für eine KI als Trainingsdaten.

Natürlich gibt es auch Breiche mit einem genau definierten beschänkten Datenbereich, aber der (quasi)analoge Bereich dürfte doch sehr viel grösser sein.

 

[Ayo34]

Genau das ist es. Wenn hier auch nur das Wort KI erscheint, ist vorhersehbar, was ein großer Teil der Kommentatoren so schreibt. Da wirkt das Board dann viel weniger wie ein aufgeschlossenes Technikforum als viel mehr wie eine Ansammlung Reaktionärer, die kurz und knapp KI abkanzeln.

Ich finde das mittlerweile eigentlich nur noch amüsant und eigentlich auch gut. Wenn selbst ein Computer-Forum solche Vorbehalte gegen KI hat und vieles nicht versteht, dann ist es in der breiten Masse noch mal stärker. Wobei man vielleicht einschränkend noch sagen könnte, dass bei Computerbase auch das Durchschnittsalter nicht mehr so gering ist.

Jeder der die Möglichkeiten durch KI jetzt schon sieht, hat einfach immense Vorteile und Möglichkeiten. Daher sollen gerne alle KI ablehnen...

 

[tipmyredhat]

@Ayo34 Na, seid ihr fertig damit, euch gegenseitig die Eier zu kraulen?
Ich kann dir versichern, hier gibt es mehr als genau User, die mehr von Technik verstehen als du und dennoch wohlgeformte Kritik am massiven Überhypen der AI formulieren.

Übrigens, die wenigsten lehnen die Technik grundsätzlich ab und auch die Kritiker nutzen sie, wo immer sinnvoll. Ist halt an deutlich weniger Stellen sinvoll als propagiert von Stellen, welche einen Profitanreiz an der Technologie haben.

 

[Ayo34]

Ich kann dir versichern, hier gibt es mehr als genau User, die mehr von Technik verstehen als du und dennoch wohlgeformte Kritik am massiven Überhypen der AI formulieren.

Bin ich mir sogar ziemlich sicher und ist doch auch cool.

Übrigens, die wenigsten lehnen die Technik grundsätzlich ab und auch die Kritiker nutzen sie, wo immer sinnvoll. Ist halt an deutlich weniger Stellen sinvoll als propagiert von Stellen, welche einen Profitanreiz an der Technologie haben.

Kritik an KI ist völlig okay und in manchen Bereichen auch völlig angebracht. Ich habe von massiven Vorbehalten gegenüber KI geredet und kritisiere eben das als naiv. Wo ist genau dein Problem? Möchtest du eine typische "Intel vs AMD" Internetdebatte hier führen wo es nur 1 und 0 gibt?

 

[vandenus]

Naja ich denke nicht dass die KI tatsächlich überhyped ist - letztendlich ist es mit doch ausreichend hoher Wahrscheinlichkeit sicher möglich nahe genug an die grundlegende Funktion von Neuronen heranzukommen. - was ja auch z.b. wie neuronale Implantante in der Praxis belegen rudimentär schon recht gut funktioniert.

"Echte" Intellgenz ist nur eine komplexe Verschaltung von Neuronen, und da wird halt inzwischen recht sicher eine bestimmte Tiefe ausreichen, das auch mit digitalen Werten abzudecken.

Das ist doch eher "nur" ein technisches Mengenproblem und weniger ein tatsächlich Grundsätzliches.

Am Ende ist eben alles nur Chemie bzw Physik und der Rest ergibt sich von selber

 

[Xiaolong]

Ganz so einfach ist es dann doch nicht. Da gibt's schon fundamentale Unterschiede.
Ein Transistor hat genau 3 Anschlüsse (Source, Gate, Emitter). Ein Neuron kann dieser Verbindungen bis zu 200.000 haben, welche sich auch ständig ändern und Feedbackschleifen unterliegen.
Ein Transistor kann halt nur statisch von Source zu Emitter schalten, ein Neuron durch seine Synapsen in alle möglichen Richtungen, inkl. Rekursion.

Unser Gehirn hat ca. 86 Mrd. (10⁹) Neuronen und in Summe ca. 100 Billionen (10¹⁴) Synapsen.

Wenn wir jetzt annehmen, dass um eine Kombination Synapse/Neuron zu simulieren jeweils 1 Transistor notwendig wäre - was bei der sich ständig ändernden Struktur des Gehirns optimistisch ist, aber nehmen wir das der Einfachheit halber einmal an - dann Macht das in Summe 8,6 Quadrilliarden Transistoren was ca. 41 Mio. Stk. der neuen NVIDIA B200 entspricht. Ausgehend von Produktionsmengen von 1 Mio. solcher Karten im Quartal wären das ganz entspannte 41 Quartale oder 10 Jahre Dauerproduktion. Aktuelle Schätzungen seitens NVIDIA belaufen sich auf <500.000 für Q4/2024, also dauert das noch ein Weilchen. Achja, das ganze will ja noch befeuert werden mit Strom

Hierin sind noch nicht die ganzen anderen Herausforderungen enthalten. Zum Beispiel haben wir als Menschen einen Haufen Sensoren im Körper für das Sehen, Hören, Riechen, Fühlen, Tasten, Balance. Diese gibt's auch als fertigbare Sensoren, aber nicht alle davon, dafür eben auch andere.

Neuronale Netze in Software sind eben auch ineffizient, aber man hat schon andere Ansätze dazu.

"Echte" Intellgenz ist nur eine komplexe Verschaltung von Neuronen, und da wird halt inzwischen recht sicher eine bestimmte Tiefe ausreichen, das auch mit digitalen Werten abzudecken.

Ich habe mal das kleine Schlüsselwort markiert. Im Grundsatz gebe ich dir recht, ich sage aber, dass die praktische Umsetzung noch eine Weile auf sich warten lässt. Es wird Fortschritte in Soft- sowie Hardware geben, in Summe ist das dennoch eine Mammutaufgabe. Werden wir ein "Transistorengehirn" zu unserer Lebenszeit erhalten? Ich weiß nicht, aber ich denke es könnte möglich sein.

 

[vandenus]

das doch egal es muss doch nicht 1:1 nachgebildet werden - eine float miot 256 oder 512 bit bildet genug Zustände ab.

Die analogen Zustände eines "biologischen" Neurons sind auch beschränkt durch z.B. elektromagnetische Feldeffekte die sich überlagern.

Das menschliche Gehirn wenn man das mal als Vergleich nimmt kann auch in der Realität eben auch nur eine begrenzte Zahl tatsächlich diskreter Zustände annehmen - genau das machen sich doch neuronale Sonden in der Neuromedizin zu nutze - mes reicht sehr grob zu steuern um sehr gezielt ins Gehirn einzugreifen - viele nutzen nur so 200 Zustände - das reicht dann schon.

Die Anzahl der möglichen Zustände ist bei ausreichend hohen Knotenwerten und Anzahl Knoten in einem AI Netz vermutlich ausreichend gross.

Und man muss natürlich wegrechnen welcher riesige Anteil im menschlichen Gehirn mit Krams vollgestopft ist der unabhängig von der Intellgenz ist - also "Persönlichkeit" bildet, der ist halt für ein AI Netz unnötig,

Sensoren baucht man doch nicht für Intelligenz - die Wahrnehmung der Welt als Zahlenstrom ist halt nur eine andere Basis, man muss nur die Welt eben ausreichend genau als Zahlenstrom abbilden so dass die wesentliche Information erhalten bleibt.

Und das macht eben auch die Grundanforderungen an eine AI Intelligenz sehr sehr viel einfacher - das gesamte "AI Universum" ist eine vergleichsweise einfache 1-dimensionale Welt, die nur aus einer einzigen Sache besteht Zahlen(reihen) - was anderes existiert in dieser Welt einfach nicht - es gibt weder Physik noch Chemie noch sonst irgendwas.

Die Intelligenz von AI besteht nicht darauf dass sie Bezug zu einem realen Universum hat - denn das hat sie halt nicht - sie besteht nur darin dass durch mathematische Operation aus vorher voneinander abhängig verrechneten Zahlen eine bestimmte Zahl als Ergebnis ergibt, es ist halt - im besten Fall - eine sehr implizite Intelligenz die unabhängig von jeder realen Welt ist.