Hmm. Also aktuell haben wir keine AGI, keine artificial generell intelligence, aber selbst aus Bing Chat kommen Drohungen gegen den Nutzer, weil halt in den Trainingsdaten festgehalten ist, das Menschen sich so verhalten und das Programm halt dann nur die Wahrscheinlichkeit mit einbezieht und manchmal dann eben als Antwort auswählt.
Wenn wir jedoch tatsächlich cine AGI haben, und die zum Beispiel den Auftrag bekommt soviel Briefmarken wie möglich zu sammeln, dann liegt die Erkenntnis natürlich nahe, das Briefmarken und Menschen beide aus Kohlenstoff gemacht sind und um so viele Briefmarken wie möglich zu sammeln, braucht die KI dann halt auch wirklich ALLEN Kohlenstoff.
Die KI hat schließlich genau dieses Ziel, diese Aufgabe bekommen und wird dann eben diese Aufgabe erfüllen. Das Problem ist also nicht das die KI irgendwelche Gefühle entwickelt, sondern einfach nur, das es schwierig ist der KI genau zu beschreiben, was sie eigentlichen machen soll.
Das Kernproblem bei AI / KI Sicherheit ist die Ziele die man der AI gibt auch wirklich entsprechend der Ziele des Nutzers zu gestalten, das Alignment Problem ist imho wirklich das Kernproblem von AI. Die depperte Maschine soll das tun was ich von ihr will, und nicht das was ich ihr sage. Bevor das Problem nicht gelöst ist, sollte man imho den Dschinn nicht einfach aus der Flasche lassen, nur weil man es kann.