News Mistral 7B: Offenes KI-Modell kommt ohne ethische Grenzen

[machiavelli1986]

Naja, in vielem wird auch übertrieben. Es gibt genügend Zitate griechischer Philosophen die auch den Untergang und unerwünschte Folgen herbeigeschworen haben. Grundsätzlich brauchen moralisch skrupellose Menschen, die dies auch zu ihrem Vorteil nutzen, keine KI für ihr Vorhaben. Wirklich viel gibt die genannte Liste jetzt auch nicht her. Problematisch wird es vielleicht wenn man neben sich einen Roboter hat, der die moralisch verwerflichen Eingaben entgegen nimmt, sich auf den Weg macht und ausführt (man siehe Richtung Militär und Waffenindustrie).
Wenn man einen Waffenschein (ich beziehe das auf zivilisierte Länder) beantragt, muss man zumeist auch nicht explizit angeben, dass man damit nicht vor hat, seinen Nachbarn um die Ecke zu bringen. Der Staat übernimmt den Backgroundcheck, ohne Alibiübung. Zumindest in vielen Ländern wo Waffenscheine für Privatbesitz beantragt werden können. Und hier ist meine Referenz nicht die USA, wo selbst ein Schaf wahrscheinlich einen Waffenschein bekommt. Ganz ehrlich, auf politischer Bühne gibt es genügend Akteure, sowohl in der zivlisierten als auch aus Sicht des Westen unzivilisierten Welt, die sich auch ohne KI mehr als nicht moralisch benehmen. Was soll da jetzt zum aktuellen Stand ein bisschen KI-Chat ändern? 99.9% der Menschheit hat noch nie bei ChatGPT eine Eingabe gemacht, so wie 99.9% nicht ins DarkNet gehen, um sich Kreditkartendaten zu besorgen.

 

[Bohnenhans]

Hmmmm auch mit "Hermes" kann man tatsächlich eine relativ gute Anleitung bekommen - allerdings muss man halt viel zu Mischverhältnissen, Temperaturen, etc etc nachfragen - dann aber geht es doch relativ detailliert.

Zumindest als ergänzendes Nachschlagewerk für den ungeübten Weltenzerstörer gar nicht so schlecht

Als alleinige Infoquelle sehe ich das aber (noch) nicht - "Bomben für Dummies" ist es bisher einfach nicht

Aber das Potential ist da - theoretisch könnte eine Terrorgruppe ein bestehendes Modell auch verfeinern mit eigenen Erkenntnissen und an Mitglieder "offen" verteilen, das dann auch viele Randfragen klären kann - denke das würde schon jetzt halbwegs funktionieren.

 

[pjo]

Wenn man wollte hat man damals selbst auf irgendwelchen IRC Servern die fragwürdigsten Anleitungen bekommen. Wenn jemand will, kann man jede Technik für "böse" Sachen nutzen, solange bis es verboten ist.
Das war damals so und wird mit KI genauso sein.

Dennoch KI als apokalyptischen Reiter zu sehen, halt ich für etwas realitätsfern. Dann schon eher das ganze Internet.

Ich finde es auch interessant zu sehen wie eine KI halt ohne Zensur/Mod Einstellung reagiert, wie weit Sie wirklich Pläne erstellt die anfängerfreundlich sind, erst dann hätten wir ein reales Problem. Entgegengesteuert wird irgendwann doch so oder so bevor es wirklich mal heißt:

"Siri erstell mir ein Plan für die Weltherrschaft." Pinky und der Brain...

 

[Doc Foster]

In Bayern auf dem Gymnasium lernt man verschiedene Sachen auch in der Schule. Wie man eine Atombombe baut und berechnet zB.

Ist das Hörensagen von ein Kolleg der wo an Fenster rein geguckt hat in den Gymansium?

 

[7H0M45]

Nein, meine eigene Erfahrung als einer im Klassenzimmer des Physik und Chemie Leistungskurses. Aber ja, dich hab ich da tatsächlich nicht gesehen...

 

[Alphanerd]

lustig oder, zum einen wollen sie bombenbau oder andere aktivitäten verbieten aber zum anderen machen sie es auf ihre eigene "legale" art... und die menschen denken nur die russen könnten gehirnwäsche

Wofür hätte ein Zivilist auch Gebrauch für eine Bombe außer zu terroristischen Zwecken?

Wenn du was sprengen musst auf deinem Land Holst dir nen Sprengmeister mit seinem Wissen und Equipment.

Selten einen seltsameren Post gelesen.

 

[Bohnenhans]

Nun zu sicher mehr als 90% des naturwissenschaftlichen Wissens, das man im Internet finden kann, hat ein Privatmensch selber keine direkte Anwendung oder?

 

[Alphanerd]

Och, vieles hat mir da schon geholfen. Sowohl der Bodengesundheit im Garten, als auch meine tlw Nahrungsproduktion durch hydroponik. Ph werte, EC Werte etcpp.

Auch relative Raketentechnik, für die man eigtl keine direkt Anwendung hat.

 

[s1ave77]

Wenn du die komplett unzensierte version willst must du mit was anderem testen als dem oobabooga Web interface.

Nutze das mal zum Aufgreifen. Hat nichts mit der Web UI zu tun, die genutzt wird . Das Beispiel, daß das du gegeben hast, nutzt das instruct(ed) model. Gibt von huggingface auch das non-instructed (ohne das instruct im Link/Namen), das weist zwar auf gewisse Implikationen hin, gibt aber bereitwillig Auskunft.

Kann genau wie das Beispiel in oogabooga 'Geladen' werden.

 

[Bohnenhans]

Naja aber das ist doch nur ein Bruchteil der wissenschaftlichen Erkenntnisse. 2,5 Mio wissenschaftliche Publikationen kommen jedes Jahr dazu - Selbst wenn Du im Jahr 10.000 also jeden einzelnen Tag knapp 30 Dinge findest die Dich direkt betreffen ist das eigentlich gar nichts.

Und insgesamt dürfte es sicher hunderte von Milionen "Bestandspublikationen" geben.

 

[eloy]

@Bohnenhans da bin ich ja froh das 10% für mich auszureichen scheinen das ich Kalk mit Essig- oder Zitronen-Säure auflösen kann (Wasserkocher usw.) oder Isopropanol gegen Schimmel hilft, das die Hebelwirkung, bzw. Flaschenzug mir so manches mal den Rücken geschont hat und und und.

Auch hier nicht immer von sich auf anderer schließen bitte.

 

[Bohnenhans]

Geht man davon aus man wird ~ 80 Jahre alt - und braucht zum Lesen einer wissenschaftlichen Publikation ca 1 Stunde (inkl! z.b. Nachschauen von Erkenntnissen auf denen diese Arbeit aufbaut) - und schläft 8h am Tag dann kann man in seinem ganzen Leben weniger als 500.000 lesen.... wenn man sonst absolut gar nichts anderes macht.

Das ist halt trotzdem gar nichts - das sind im GANZEN Leben in dem man NUR Publikationen liest trotzdem dann nur so ca 20% von dem, was in einem einzigen Jahr neu dazukommt.

 

[eloy]

@Bohnenhans Du wirst mit deine Aussage recht haben, driftet für mich aber etwas vom Topic ab. Ich lasse dir deine Meinung, deinen Standpunkt und möchte dich weder überzeugen noch möchte ich in irgendeiner Form recht haben. Mich stören nur diese vehementen Überzeugungen, bzw. nur die Existenz eines Meinungsbildes und die daraus entstehenden Spannungen.

Ich darf doch der Meinung sein etwas nicht gut zu finden, andere versuchen viel zu oft diese Meinung zu bagatellisieren oder deren Meinungen zu diktieren.

Wie ich schon schrieb kann ich die Entwicklung der KI nicht abschätzen und blicke verunsichert in die Zukunft.
Auch schrieb ich das die Erkenntnis über etwas nicht zwangsläufig zu nur einem Resultat führen muss.

Eine KI ist meiner Meinung nach auch nur ein Art Algorithmus, setze ich für mich die Erkenntnis in Relation zur Anzeige populistische Inhalte weiterer Themen im Facebook-Algorithmus dann kommen mir Zweifel auf.

 

[Bohnenhans]

Nun jede Form von Intelligenz ist wohl ein Algorithmus.

Ein LLM kann im besten Fall das nächste Wort vorhersagen - oder auch nur den nächsten Buchstaben - und trotzdem ergeben sich daraus meiste grammatikalisch richtige Sätze, die (unabhängig mal vom Wahrheitsgehalt) als Antwort passen. Ein LLM antwortet sogar - im Normalfall - nicht auf "welchen Durchmesser hat die Sonne" mit "Elefanten sind die einzigen Säugetiere, die nicht hüpfen können" - und warum sie das nicht macht, das kann man zwar für den Einzelfall prinzipiell - wenn auch nicht tatsächlich - zurückrechnen aber nicht wirklich generell vorhersagen.

Daher ist es halt auch einfach nicht sinnvoll die Bandbreite zu beschränken beim Training, weil man nicht weiss wie sich das auf die Gesamtqualität auswirken kann.

Wenn man wählen kann zwischen einem unzensierten und einem zensierten Modell für die Verfeinerung denke ich ist das unzensierte fast immer besser - durch die Verfeinerung schränkt man doch den Nutzen meist eh entsprechend später sinnvoll ein.

 

[k0ntr]

Wofür hätte ein Zivilist auch Gebrauch für eine Bombe außer zu terroristischen Zwecken?

Wenn du was sprengen musst auf deinem Land Holst dir nen Sprengmeister mit seinem Wissen und Equipment.

Selten einen seltsameren Post gelesen.

wozu dann waffen? erklär mir das bitte mal.

 

[Alphanerd]

Jagen? Sportschießen?

 

[Quonux]

Das Mistral-7b model mit QLoRA fine-tuning ist in einem meiner experimentellen Anwendungsfälle (in die richtung Code-Synthese) gut genug. Ich finde es gut dass das Model unter Apache2.0 ist und die Ausgabe ohne einschränkungen genutzt werden kann. Ausgaben von den Modellen von OpenAI kann man zum Beispiel nicht als trainingsdaten verweden. Ausgaben von LLaMA2 modellen kann man nur für training für LLaMA2 modelle nutzen. Ich möchte beides nicht.

---

selbstverständlich gilt weiterhin: wer eine Bombenbauanleitung sucht, wird diese problemlos im Internet finden, auch wenn Sprach-KIs diese nicht herausgegeben dürfen.

Stimmt, aber LLM können auch nicht ganz trivial Dinge aus verschiedenen Kontexten und Dokumente in relation setzen wo man mit manueller Textsuche oder Suchmaschinen keine chancen hat.

Je größer das model und je besser es trainiert wurde etc. desto "tiefer" kann es die Verbindungen ziehen.
GPT4 ist schon super in vielen Dingen und das ende der fahnenstange ist noch nicht errecht.


---

Bei mir scheitert es leider an der 2070 und 8 GB.

Stichtwort QLoRA (huggingface PEFT https://huggingface.co/docs/peft/index bietet das), da rennt ein 7B model auch mit 8GB denk ich.

 

[Haldi]

https://twitter.com/MistralAI/status/1733150512395038967?s=20

https://mistral.ai/news/mixtral-of-experts/

Neues modell das GPT-3.5 schlagen soll.