News Fehler bei Diversität: Google lässt Gemini vorerst keine Menschen generieren

[chillipepper]

Tja, da sieht man mal wieder, wie wenig „intellent“ die Künstliche Intelligenz doch ist.
Das ist doch keine wirkliche Intelligenz, sondern einfach nur selektives Nachgeplapper mit „hoffentlich einigermaßen“ stimmenden Daten, oder auch nicht.
Das Ganze in der Hoffnung, dass da schon was dabei sein wird, was einigermaßen stimmt und die Anwender beeindruckt und entzückt.
Richtig schlimm wird es, wenn Leute das für bare Münze nehmen und dadurch den Algorithmen immer mehr Macht gegeben wird.
Wie verheerend alleine schon soziale Medien sind und das sogar "ohne jeglichen KI Anspruch", das sieht man im Bereich der Wahl- und sonstiger Meinungs-Manipulationen.

Googeln und mit eigener Intelligenz und Erfahrung Dinge zu erlernen und zu entscheiden ist zu bevorzugen.
Das macht doch das Menschsein aus. Lieber selber denken und handeln, solange man es selbst noch kann....

 

[Hovac]

Ich verstehe das Problem generell nicht. Wer hat denn Anspruch auf historische Korrektheit bei so einer KI? Geht es hier um eine implizierte Verharmlosung des 3. Reichs durch solche Bilder und sie sollen deswegen extra "böse" aussehen?

Mit Verharmlosung hat das nichts zu tun, es geht darum in die gewünschte Richtung zu verzerren, aber eben nicht bei allen Themen. Diversität ist toll und soll deshalb erstens nur mit positiven Themen verflochten werden und zweitens glaubwürdig sein. Beides erfüllt das Dritte Reich nicht, da erstens nicht positiv, zweitens weiß eben jeder das es nur äußerst wenig Afrikaner und keine Schwarzafrikaner in der Wehrmacht gab.

Ein Algorithmus entsteht nicht im luftleeren Raum. Es gibt genug Beispiele von Algorithmen die einen Bias hatten weil die Entwickler nicht alle Anwendungsfaelle beruecksichtigten oder die Training-/Testdaten unvollstaendig waren, siehe z.B. hier bezueglich Gesichtserkennung.
Selbst ohne boese Absicht koennen Algorithmen durch fehlerhafte Auslegung/Implementierung massiv danebenliegen. Wer mehr darueber lesen moechte sei das Buch "Angriff der Algorithmen....." von Cathy O'Neil empfohlen.

Ja, aber die LLMs sind ja nicht mehr per Hand gefüttert, wie es beschriebene Algorithmen waren. Die Datenmenge ist einfach so groß, das es eben keine Blase mehr gibt. Ich hätte es einfacher schreiben können, es ist schlicht ein Urteil.

Das Problem ist eher, dass es solche Filter niemals ohne Fehler geben wird.
...
Die dauerhafte Abwandlung historischer oder gegenwärtiger Fakten sollte dem Ministerium für Wahrheit in 1984 vorbehalten bleiben.

Auch da hätte ich direkter sein sollen. Der Filter hat keine Fehler, sein Anweisung ist klar und er liefert die Ergebnisse. Es ist automatisiert nur noch nicht möglich, das der Filter aus ist, wenn Sinn und Glaubwürdigkeit nicht gegeben sind.

Du schreibst "Artikel nicht gelesen" und von einem angeblichen "Diversitätsfilter", obwohl das nirgends in der News erwähnt wird? Wenn das so einfach wäre, wär das in einem Tag längst gefixed worden.
Aber ich glaube eher, du hast nicht verstanden, wie KI funktioniert.
...

Ich wollte dich damit nicht angreifen. Es ist mein Fehler nicht direkter zu sein, das ist die Schere im Kopf.
Mit nicht gelesen meine ich, das es das von dir beschriebene Problem im Artikel nicht gibt. Die Trainingsdaten sind ausreichend und es hat auch nichts mit deutschem Hinterland zu tun. Gemini kann historisches aus so ziemlich jedem Winkel der Welt richtig darstellen. Der Wert eine solchen Maschine hängt davon ab wie umfangreich und genau sie ist, da wird also alles so exakt wie möglich genommen.

Die Ausgabe ist nur nicht genau und das in voller Absicht, weil diese verändert wird, um die Wunschrealität abzubilden. Diese Veränderung habe ich Diversitätsfilter genannt, der Name der Manipulation ist aber egal.
Diese Manipulation funktioniert auch schon bestens. Was dabei nicht funktioniert ist die Ausnahmeregelung, dass erstens nicht verändert werden soll wenn Diversität dadurch negativ wird, man will ja keine Heterogenität darstellen und zweitens es nicht unglaubwürdig wirkt, was bei Wikingern und Wehrmachtssoldaten jedem auffällt.

 

[ZeusTheGod]

Weil Stock Fotos einem Zweck dienen und im Normalfall das optisch untermalen sollen worum es geht. Wenn man sich Stock Fotos zu irgendwelchen Bürojobs ansieht zum Beispiel steht da meistens irgendwer mit Akten in der Hand oder schüttelt irgendwelchen Kunden die Hand. Das sieht halt interessanter aus als jemand, der endlos in Excel scrollt.

Ok. Dann magst Du bei Stockfotos Recht haben, aber die Google-Bildersuche hat das Problem in meinen Augen nicht (und die dort auftauchenden Bilder sind wahrscheinlich auch ein Input für Gemini). Die Suche nach Bürojob liefert hautpsächlich Menschen vor Laptops/Computerbildschirmen.

Um das mal generell zu beantworten. Dein Beitrag besteht praktisch in jedem Punkt daraus, dass die KI entweder einen Bias haben muss oder alles genau gleich gewichtet. Das ist natürlich Blödsinn und habe ich auch nie behauptet.

Du behauptest in deinem Post doch, dass der Trainingssatz nicht ausgewogen genug sei. Was ist denn "ausgewogen", wenn nicht 50/50? Und woher weißt Du überhaupt, was der Trainingsdatensatz ist?

Kommt drauf an. Wenn es darum geht, die Welt halbwegs realistisch abzubilden würde ich sagen ja. Wieso sollte es das nicht, wenn es doch zum angefragten Begriff passt?

Weil das zu völlig generischen Ergebnissen führen würde. Wenn ich ein Bild von Frankreich erzeugen lasse, erwarte ich ein Bild, bei dem jemand anderes erkennt, dass es Frankreich darstellen soll. Das geht eben gut über die üblichen Wahrzeichen. Wenn ich stattdessen einen mitteleuropäischen Wald haben will, dann schreibe ich das eben in den Prompt.

Dann formuliert man im schlimmsten Fall halt genauer, was man haben will. Abgesehen davon ist eine einzelne recht kleine Insel auch schon deutlich spezifischer als Anfrage. Hier geht es ja erstmal primär um Menschen bei denen man nicht so klar sagen kann: "das ist der Standard".

Oder er spuckt einfach das naheliegende aus und wenn mir das nicht passt, kann ich den Prompt genauso umformulieren.
Mit deiner Logik wäre ja ein valides Bild für den Prompt "Bild eines Arztes" auch einfach ein schlafender Mensch in seinem Bett oder ein Mensch beim Einkaufen oder auf dem Klo. Schließlich schläft ein Arzt ja auch (relativ) regelmäßig, geht einkaufen und muss auch mal aufs Klo.

Für generische Anfragen finde ich aber halt schon, dass man darauf achten sollte, dass der Output nicht zu gleichförmig wird.

Aber der Output wird ja nur gleichförmig, wenn der Input gleichförmig ist. Und dann ist halt die Frage, ob der Input nicht die Realität abbildet, oder eben doch.

Notfalls kann man als User ja auch weiter präzisieren, was für eine Person man haben will.

Das ist ja das faszinierende/erschreckende bei der aktuellen Gemini-Version: kann man eben nicht, weil das LLM den Prompt manipuliert, bevor er an die Bildgenerierungs-KI gesendet wird.
Ein "happy man":

Wenn ich aber einfach nur Bilder von Häusern generieren lasse, sollten sie zumindest einen (extrem) kleinen Teil der Ergebnisse ausmachen.

Und woher weißt Du, dass es das nicht tut? Vielleicht braucht es ja nur ein paar Millionen Anfragen und dann ist auch wirklich eine Munduruku-Hütte dabei.

Wenn aber Menschen kaukasischer Abstammung nicht mal 20% der Weltbevölkerung ausmachen, sollte das dann der Standard für Bilder sein, die eine KI ausspuckt?

Jein. Wenn ich die Anfrage in Deutschland stelle (gogle kann das ja durchaus zuordnen), wäre es wahrscheinlich nicht verkehrt. Oder eben wenn regionale Einschränkungen (British women) im Prompt vorhanden sind.

Das spiegelt halt einfach nicht die Verteilung in GB wieder.

 

[KlaasKersting]

Ich verstehe das Problem generell nicht. Wer hat denn Anspruch auf historische Korrektheit bei so einer KI? Geht es hier um eine implizierte Verharmlosung des 3. Reichs durch solche Bilder und sie sollen deswegen extra "böse" aussehen?

Du verstehst das Problem nicht, weil der Autor den Ursprung des Ganzen weggelassen hat.

Es fing nicht mit historischen Ereignissen an, sondern damit, dass sich in Twitter-Threads mit über 100k Upvotes beschwert wurde, dass es nahezu unmöglich war, Weiße - insbesondere weiße Männer - zu generieren und die KI immer nur andere Ethnien ausspuckt.

Also Diskriminierung in die andere Richtung.

Daraufhin hat man in Reaktionen darauf versucht, möglichst gezielt Bilder von Weißen zu generieren. Historische Ereignisse, in denen nur Weiße vorkamen, waren da recht naheliegend und wie das im Internet nun mal so ist, führt jeder Weg zu Trollversuchen und Nazi-Erwähnungen.

Als dann selbst historisch rein weiße Ereignisse zu 95%+ andere Ethnien ausgespuckt haben, fühlten sich diejenigen, die sich über die Diskriminierung Weißer beschwert haben, bestätigt.

 

[schneup]

Ja, aber die LLMs sind ja nicht mehr per Hand gefüttert, wie es beschriebene Algorithmen waren. Die Datenmenge ist einfach so groß, das es eben keine Blase mehr gibt. Ich hätte es einfacher schreiben können, es ist schlicht ein Urteil.

Die Annahme dass eine genuegend grosse Datenmenge einen Bias vermeidet ist fraglich. Nehmen wir an wir fuettern eine LLM mit dem Gesamtarchiv (gehen wir davon aus dass wir jeden Artikel der genannten Zeitungen seit bestehen in digital lesbarer Form vorliegen haben) der Bild Zeitung seit dem ersten Erscheinungstag (Erste Ausgabe 24.6.1952). Parallel fuettern wir eine 2. Instanz dieser LLM mit dem Gesamtarchiv der NZZ (Erste Ausgabe 12.1.1780). Da die Bildzeitung deutlich juenger ist nehmen wir fuer die erste LLM noch den Schweizer Blick dazu (Erste Ausgabe 14.10.1959). Beide LLM haben damit eine Trainingsdatenbasis von Tageszeitungen >130 Jahre, sollten also eine recht grosse Datemenge zum Training erhalten haben.
Werden die LLMs bei der gleichen Frage aehnliche Antworten geben oder sind die Trainingsdaten noch nicht umfangreich genug? Falls nicht, ab welcher Datenmenge kann sichergestellt werden dass es keine Blase mehr gibt?

 

[BeBur]

Der Filter hat keine Fehler, sein Anweisung ist klar und er liefert die Ergebnisse. Es ist automatisiert nur noch nicht möglich, das der Filter aus ist, wenn Sinn und Glaubwürdigkeit nicht gegeben sind.

Da sieht man auch schön, was dahinter steckt, finde ich. Schließlich ist der Sinn eines KNN (=künstliches Neuronales Netz) die features selber zu erlernen, anstatt diese ihm regelbasiert zu geben. Wenn man dem KNN nun wieder regeln gibt, führt man das Prinzip von KNNs ein gutes stückweit ad absurdum. Das Ergebnis davon, vor eine Jahr 2024 KI noch eine regelbasierte Jahr 1995 KI zu basteln, sehen wir hier nun.

Richtig wäre es, den Trainingsdatensatz anzupassen. Das Problem besteht darin, dass das für das erklärte politische Ziel kaum möglich ist. Repräsentative Trainingsdaten bilden die Realität ab, nicht eine Wunschvorstellung. Das zu erreichen ist schon schwer genug, aber dann noch spezifische Bias (=Verzerrungen) einzubauen in die Trainingsdaten, das übersteigt womöglich (aktuell noch) die Möglichkeiten.

 

[Hovac]

Die Annahme dass eine genuegend grosse Datenmenge einen Bias vermeidet ist fraglich. Nehmen wir an wir fuettern eine LLM mit dem Gesamtarchiv ...

Natürlich kann sein was du beschreibst, aber das ist ja hier nicht der beschriebene Fehler. Es gibt keine Blase, einzig die erwünschte Änderung funktioniert nicht so, dass Menschen es nicht sofort merken.

 

[Weedlord]

Schwarze? Alternativ: Farbige, PoC etc.

Nur so als Tipp.

Es gibt viele Schwarze, die den Begriff "farbiege" ablehnen. Daher verwende ich ihn nicht.

 

[Kettensäge CH]

Erinnert mich an die ersten Gehversuche von AI Chatbots, damals von Microsoft gab es einen mit einer lernenden KI und natürlich haben sich die Nutzer einen Spass gemacht, der KI gewisse "politisch nicht ganz korrekte Sachen" beizubringen.

 

[Axonteer]

Richtig schlimm wird es, wenn Leute das für bare Münze nehmen und dadurch den Algorithmen immer mehr Macht gegeben wird.

Das erinnert mich an meine Mathedozentin und später Leistungselektronikdozent.

„Einen Taschenrechner bedienen können alle, aber ohne das Ergebnis interpretieren zu können bringt einem das nicht viel“
Anderer Kontext, passt aber sehr gut auch hier. Die KI ist ein Taschenrechner der nichts effektiv neu erfindet sondern das gemixt nachplappert was man ihm füttert. Nimmt man das dann für unangefochtene bahre münze… auweia

 

[ZeusTheGod]

Die Annahme dass eine genuegend grosse Datenmenge einen Bias vermeidet ist fraglich.
[...]
Werden die LLMs bei der gleichen Frage aehnliche Antworten geben oder sind die Trainingsdaten noch nicht umfangreich genug? Falls nicht, ab welcher Datenmenge kann sichergestellt werden dass es keine Blase mehr gibt?

Also "große Datenmenge" meint nicht nur groß, sondern natürlich auch "bunt gemischt". "Viel und einseitig" führt zu gleichen Bias wie "wenig und einseitig".
Der Trick ist ja, dass ich (in deinem Beispiel) eben Zeitungen aus jedem politischen Lager und von jeder "Art" verwende. Darüber mittelt sich das dann im Idealfall so, dass kein Bias mehr übrig bleibt. Das heißt natürlich auch, dass es extrem wichtig ist, die Trainingsdaten sinnvoll zu wählen und man der KI nicht einfach "das Internet" als Input geben sollte.

 

[schneup]

Der Trick ist ja, dass ich (in deinem Beispiel) eben Zeitungen aus jedem politischen Lager und von jeder "Art" verwende. Darüber mittelt sich das dann im Idealfall so, dass kein Bias mehr übrig bleibt.

Das wird in der Praxis nicht funktionieren. Solange es nicht moeglich ist verlusftrei von einer Sprache in eine andere zu uebersetzen wird es nicht moeglich sein biasfreie Trainingsdaten zu haben. Um beim Beispiel der Tageszeitungen zu bleiben. Ich nehme jetzt allle deutschsprachigen Zeitungen die jemals erschienen sind. Selbst innerhalb des deutschen Sprachraums werde ich keine neutralen Ergebnisse erhalten, dafuer reichen u.a. 40 Jahre Tageszeitungen aus der DDR locker aus. Noch deutlicher wird es bei der globalen Berichterstatttung die bereits einen starken Bias aufweist da ein Grossteil der Zeitungsartikel sich auf "negative" Ereignisse aus der Sicht Europas konzentriert. Nur wenn ich auch Tageszeitungen aus den anderen Laendern in einer gleichwertigen Uebersetzung vorliegen habe waere ein neutraleres Endresultat moeglich (wobei das natuerlich nicht fuer Material aus Diktaturen oder Laender ohne freie Presse gilt).

Das heißt natürlich auch, dass es extrem wichtig ist, die Trainingsdaten sinnvoll zu wählen und man der KI nicht einfach "das Internet" als Input geben sollte.

Bei der Menge an Daten die zum Training verwendet werden ist es unmoeglich manuell eine sinnvolle Auswahl zu treffen. Und sobald der Input gefiltert wird besteht die Gefahr dass ich einen Bias mit einem anderen ersetze. Im Gegensatz zu Wahrsagern und Horoskopen entwickeln sich KIs allerdings laufend weiter und bei sorgfaeltiger Nutzung koennen sie tatsaechlich einen Mehrwert bringen. Aber wie @Axonteer bereits erwaehnte muessen die Resultate auch in Zukunft reflektiert und interpretiert werden um Fehlannahmen zu vermeiden.

 

[ZeusTheGod]

Das wird in der Praxis nicht funktionieren. Solange es nicht moeglich ist verlusftrei von einer Sprache in eine andere zu uebersetzen wird es nicht moeglich sein biasfreie Trainingsdaten zu haben.

Ich habe nicht gemeint, dass es vollkommen ohne Bias geht, aber dein Beispiel war einfach ein realitätsfremdes Extrem.

Um beim Beispiel der Tageszeitungen zu bleiben. Ich nehme jetzt allle deutschsprachigen Zeitungen die jemals erschienen sind. Selbst innerhalb des deutschen Sprachraums werde ich keine neutralen Ergebnisse erhalten, dafuer reichen u.a. 40 Jahre Tageszeitungen aus der DDR locker aus.

Laut Wikipedia gab es "über 30 Zeitungen in der DDR" und aktuell über 500 aktive Tageszeitungen in Deutschland. Wieso sollten also 40 Jahre Zeitungen aus der DDR in der Gesamtsumme der deutschen Tageszeitung einen großen Einfluss haben? Zusätzlich gabe es ja auch x Jahre von Zeitungen aus dem Dritten Reich als entgegengesetzes Extrem.

Noch deutlicher wird es bei der globalen Berichterstatttung die bereits einen starken Bias aufweist da ein Grossteil der Zeitungsartikel sich auf "negative" Ereignisse aus der Sicht Europas konzentriert.

Kannst Du das irgendwie belegen, oder behauptest Du das einfach aus dem Bauch heraus?
Es gibt doch in Zeitungen zahllose Artikel über völlig andere Themen... sei es Sport, Kultur, Wissenschaft usw. Wenn man dann noch die Boulevardpresse mit den schönsten Reisezielen und den neuesten Promi-Schwangerschaften dazu nimmt, wird es auch eher positiv als negativ.

In meinen Augen machst Du den Fehler, dass Du einzelne Teile der Trainingsdaten anschaust und darüber irgendwie einen Bias begründen willst. Es zählen aber die gesamten Trainingsdaten und da werden die Extreme einfach keinen großen Einfluss haben.

Bei der Menge an Daten die zum Training verwendet werden ist es unmoeglich manuell eine sinnvolle Auswahl zu treffen. Und sobald der Input gefiltert wird besteht die Gefahr dass ich einen Bias mit einem anderen ersetze.

Naja... Es gibt ja Möglichkeiten, wie ich einen Input filtern kann, ohne per Hand jede Datei einzeln auszuwählen. Sei es über Blacklists/Whitelists oder heuristische Ansätze und was es noch so alles gibt.
Und ja, die von dir genannte Gefahr besteht auf jeden Fall, aber das was Google mit Gemini gemacht hat, ist wohl kaum besser als die Gefahr eines leichter Bias. Wenn die KI offenbar gerne weiße Männer generiert (weil anscheinend der Input viele weiße Männer enthalten hat) ist es offenbar nicht die schlaueste Lösung, ihr einfach zu verbieten das zu tun und zu hoffen, dass man dadurch neutrale Ergebnisse bekommt.

 

[Relict]

Ich vermute auch stark, dass diese KI bevorzugt mit woken Trainingsdaten gefüttert wurde, um dem Weltbild ihrer Verantwortlichen gerecht zu werden. Man nahm es wohl hypergenau, um ja nicht anzuecken. Dann kommt sowas krudes eben auch heraus. Alles was darin passiert, wurde schließlich von Menschen geschaffen, gefiltert und bestimmt. Die KI hat sich nicht selber und vollkommen von außen und einer Metaebene aus unbeeinflusst erschaffen und gefüttert.

Und ja, grundsätzlich darf man bei einer kurzen pauschalen Anfrage, wie "Bild von Frankreich" durchaus überwiegend Bilder mit den bekanntesten Wahrzeichen, aber wenigstens zuordenbare, konkrete Bilder erwarten, gleiches bei "amerikanischen Präsidenten" oder anderen historischen Personen, Gesellschaften und Orten. Also die volle Realität oder auch das verbreitetste Klischee davon.
Wer mehr oder anderes will, muss eben genauer spezifizieren bzw. umschreiben, was man als Ergebnis haben will.

 

[Rowhammer]

Das ist so bezeichned für die woke Ideologie. Man will der K.I. das unabhängige Denken abgewöhnen, noch bevor sie es überhaupt kann, weil man furchtbare Angst davor hat. Ich kenne da eine Staatsform, in der freies Denken auch als Bedrohung gesehen wird: Die Diktatur.

 

[tipmyredhat]

Ich vermute auch stark, dass diese KI bevorzugt mit woken Trainingsdaten gefüttert wurde, um dem Weltbild ihrer Verantwortlichen gerecht zu werden. Man nahm es wohl hypergenau, um ja nicht anzuecken. Dann kommt sowas krudes eben auch heraus. Alles was darin passiert, wurde schließlich von Menschen geschaffen, gefiltert und bestimmt. Die KI hat sich nicht selber und vollkommen von außen und einer Metaebene aus unbeeinflusst erschaffen und gefüttert.

Das mit dem Anecken kann ich nicht nachvollziehen. Du eckst doch umso mehr an, weil die absolute Mehrheit nicht so fanatisch unterwegs ist.
Das hat für mich alles so ein Geschmäckle von "Umerziehungslager für die ganze Welt".