News Zweistellige Milliarden-Beträge: OpenAI-Chef plant Mega-Rechenzentren für KI-Entwicklung

[Sambow]

NotebookLM: Erstellt ein Podcast aus einer Textquelle
https://blog.google/technology/ai/notebooklm-audio-overviews/

AlphaProteo: Generiert neue Proteine nach gewissen Kriterien bzw Anforderungen
https://deepmind.google/discover/bl...el-proteins-for-biology-and-health-research/?

 

[Sambow]

OpenAI o1 Model: Kann komplexe Probleme durch Denkstrategien lösen. System zwei denken
https://openai.com/index/learning-to-reason-with-llms/

Ergänzung (12. September 2024)

Besonders an meine besonderen Pessimisten Freunde @Khorneflakes und @DeusExMachina.

 

[DeusExMachina]

Alles nichts neues

 

[Khorneflakes]

Es gibt keinen Grund mich zu taggen um mich wissen zu lassen, dass du auf die Marketingabteilung von OpenAI reingefallen bist. Weck mich wenn du verstanden hast, dass LLMs nicht denken können und nicht intelligent sein können. Die machen doch nur eine statistische Auswertung der Trainingsdaten, die man ihnen gibt. Das daraus denken wird ist ausgeschlossen. Daran zu glauben wäre in etwa so, als würde man an Magie glauben, obwohl die Wissenschaft dir Erklärungen liefert und das mit der Magie recht dünnes Eis ist.

 

[Krik]

Korrekt. LLMs basieren auf statistischen Auswertungen, welche Tokens mit welcher Wahrscheinlichkeit nebeneinander stehen. Tokens können ganze Sätze, Teilsätze, Wörter, ein Wort oder Wortbestandteile sein.
Dazu gibt es noch etwas Voodoo drumherum, um die eine oder andere Sache bei der Ausgabe zu verbessern.

Das LLM weiß nicht was es da brabbelt. Es gibt einfach nur Tokens wieder, die häufig nebeneinander stehen. Aber was die Tokens bedeuten, also welche Information da drin steckt, weiß es nicht.

 

[tarifa]

Danke für die Beiträge

Atma schrieb:

dass generative KI zwar eine Daseiensberechtigung hat aber unter keinen Umständen derartige Investitionen rechtfertigt.

@shortex: das klingt plausibel

Glaube mir ! Das wird es und das ist noch wenig. Alleine die Automatisierten service chats in Verbindung dann mit "entscheidungen" die im system eingegeben werden können, werden in die nächsten jahren 1000 und aber 1000 Arbeitsplätze einsparen! Da ist das hier noch ein witz!

ich denk mal dass das sehr plausibel ist...

 

[Sambow]

Das kam an dem Tag raus

Alles nichts neues

Nun ja die Nobelpreise in Physik und Chemie gingen dieses Jahr an KI-Forscher.

Es geht ja nicht um LLM sondern auch um das Feld Deep Learning an sich.

Es gibt keinen Grund mich zu taggen um mich wissen zu lassen, dass du auf die Marketingabteilung von OpenAI reingefallen bist. Weck mich wenn du verstanden hast, dass LLMs nicht denken können und nicht intelligent sein können. Die machen doch nur eine statistische Auswertung der Trainingsdaten, die man ihnen gibt. Das daraus denken wird ist ausgeschlossen. Daran zu glauben wäre in etwa so, als würde man an Magie glauben, obwohl die Wissenschaft dir Erklärungen liefert und das mit der Magie recht dünnes Eis ist.

Die Investitionen sind gerechtfertig. Einmal durch:
https://arxiv.org/pdf/2001.08361
und
https://openai.com/index/learning-to-reason-with-llms/
die erste Grafik die die Diagramme von Train-time-compute und Test-time-compute zeigen. Falls ihr Probleme habt dies zu verstehen, dann könnt ihr mir gerne Fragen stellen.

 

[Khorneflakes]

Es ist so absurd, dass du, obwohl du scheinbar nichts davon verstanden hast, anderen nun was dazu erklären willst.

 

[DeusExMachina]

Nun ja die Nobelpreise in Physik und Chemie gingen dieses Jahr an KI-Forscher.

Es geht ja nicht um LLM sondern auch um das Feld Deep Learning an sich.

Ja für Grundlagen Forschung die nichts mit dem LLM Kram zu tun hatte.

Weißt du den überhaupt was Deep Learning ist?
Oder wirfst du das einfach so in den Raum ?

Die Methoden für die die Preise vergeben wurden haben mit LLM nichts gemein.
Sie sind eher das wo mit die Trainingsdaten eines LLM analysiert werden

Das was das LLM dann erzeugt sind synthetische Daten nach Zufallszahlen

 

[Sambow]

Ich habe sicherlich kein Experten wissen, aber habe ein gutes Verständnis von der Materie.

Es ist so absurd, dass du, obwohl du scheinbar nichts davon verstanden hast, anderen nun was dazu erklären willst.

Wie gesagt, ich beziehe mich auf die rasanten und vielversprechenden Entwicklungen im Deep Learning, und ja, ich weiß, was das ist. Der Backpropagation-Algorithmus bildet die Grundlage von Deep Learning. Meinst du mit 'Trainingsdaten analysieren', dass das LLM damit trainiert wird?

Weißt du den überhaupt was Deep Learning ist?
Oder wirfst du das einfach so in den Raum ?

Die Methoden für die die Preise vergeben wurden haben mit LLM nichts gemein.
Sie sind eher das wo mit die Trainingsdaten eines LLM analysiert werden

Das was das LLM dann erzeugt sind synthetische Daten nach Zufallszahlen

 

[DeusExMachina]

Nein mit dem was dabei raus kommt

Ergänzung (12. Oktober 2024)

Ich habe sicherlich kein Experten wissen, aber habe ein gutes Verständnis von der Materie.

ähm I beg to differ

 

[DeusExMachina]

Update: zum Thema logisch denken

GSM-Symbolic: Understanding the Limitations of Mathematical Reasoning in Large Language Models

https://arxiv.org/pdf/2410.05229

Die Studie deutet darauf hin das es sich weiterhin nur um Mustererkennung handelt.

 

[vandenus]

Ein menschliches Gehirn hat auch keine Voodoo Funktionalität sondern auch nur verknüpfte Neuronen die nach Naturgesetzen arbeiten

Schiebt man x1 rein kommt unter gleichen Voraussetzungen immer x2 raus - auch bei menschlichen Neuronen

Das Argument ein LLM sei ja nur eine Maschine die nach Vorschriften berechnet stimmt - ist das menschliche Gehirn aber auch auch das ist am Ende nur Chemie und Physik lediglich in hoher Komplexität

Ea gibt keinen Grund dass ein LLM in einer bestimmten Komplexität nicht auch Intelligenz hat