AI Act steht: Wie die EU ChatGPT und Co. regulieren wird
„Historisch“ nennt EU-Kommissar Thierry Breton, dass die EU-Institutionen sich nun final auf den AI Act verständigt haben. Die Verhandlungen zwischen EU-Parlament und EU-Rat hatten sich in die Länge gezogen, am Ende dauerte es mehr als 36 Stunden, bis ein Kompromiss stand.
Einer der Knackpunkte bei den Verhandlungen in den letzten Tagen und auch in den Wochen zuvor war, wie man mit Basismodellen – also Large Language Models (LLM) wie GPT-4 von OpenAI oder Gemini von Google – und mit den darauf basierenden Anwendungen wie ChatGPT umgeht. Die Lösung für solche sogenannten „General Purpose AI Systems“ ist nun ein zweistufiges Risikosystem.
Anpassungen waren erforderlich, weil der AI Act bei der Vorstellung im Frühjahr 2021 einen risikobasierten Ansatz verfolgte. Reguliert wurden also vor allem konkrete KI-Anwendungen. Je höher die Einstufung, desto strikter die Vorgaben.
Verschärfte Regeln für leistungsfähige LLMs
Bei allgemeinen Systemen wie den LLM passt das aber nur bedingt, weil diese eine Vielzahl von Aufgaben erledigen können – von Text- und Bildgeneration über Chats bis hin zum Programmieren. Aus diesem Grund müssen Anbieter nun eher allgemeine Pflichten einhalten. Bei „normalen“ Basismodelle sind es bestimmte Transparenzanforderungen, die Anbieter erfüllen müssen, bevor sie diese auf den Markt bringen. Die Nachweise umfassen eine technische Dokumentation, die Vereinbarkeit mit dem EU-Urheberrecht sowie detaillierte Angaben zu den Trainingsdaten.
Verschärfte Auflagen gelten hingegen für „hochwirksame“ Basismodelle. Dabei handelt es sich um Modelle, die laut der EU-Mitteilung „mit großen Datenmengen“ trainiert worden sind und „fortgeschrittene Komplexität, Fähigkeiten und Leistung weit über dem Durchschnitt“ bieten, sodass systemische Risiken „entlang der Wertschöpfungskette“ entstehen. Die Betreiber solcher Modelle müssen dann etwa auch Sicherheitsvorfälle an die EU-Kommission melden und Angaben zu Aspekten wie Cyber-Sicherheit und der Energieeffizienz machen.
In Branchenkreisen wurde zunächst befürchtet, die Regeln könnten zu strikt und zu bürokratisch ausfallen. Das galt etwa für Vorgaben wie eine Lizenzierung von Basismodellen – diese hätten dann angemeldet werden müssen. Julian Togelius, Assistenzprofessor und Direktor des Game Lab der New York University, zeigt sich nun vorsichtig optimistisch. Lizenzierungen seien scheinbar nicht mehr an Board, dafür gebe es aber Ausnahmen für Open-Source-Modelle, die er in einem Beitrag auf X begrüßt.
Prinzipiell zufrieden ist man auch bei der Organisation AlgorithmWatch. Man begrüße, dass „große KI-Systeme wie ChatGPT nicht nur der Selbstregulierung überlassen werden, sondern dass ihre Anbieter systemische Risiken mindern sollen und transparent machen müssen, wie viel Energie sie verbrauchen“, sagt AlgorithmWatch-Geschäftsführer Matthias Spielkamp. Nichtsdestoweniger habe man sich weitreichendere Regelungen gewünscht, dazu zählt etwa der Schutz von Clickworkern, also den Personen, die Systeme wie ChatGPT mit menschlichem Input feinabstimmen.
Als entscheidend gilt nun aber, wie die Regeln im Detail aussehen. Bei vielen Aspekten wird es voraussichtlich auf den Wortlaut ankommen. Bis der finale Text veröffentlicht wird, dauert es aber noch einige Tage. Auch letzte technische Details müssen noch geklärt werden.
Ausnahmen beim Verbot von biometrischer Überwachung
Hart umkämpft waren in den letzten Tagen aber auch weitere Aspekte wie das Verbot biometrischer Überwachungssysteme, die Menschen anhand besonders geschützter Eigenschaften wie der Sexualität oder politischer und religiöser Überzeugungen identifizieren sollen.
Der risikobasierte Teil des AI Act sieht ein Kategoriensystem von 1 bis 4 vor. Unter Stufe 1 fallen Systeme, die grundsätzlich nicht mit dem EU-Recht vereinbar und damit verboten sind. Neben biometrischer Überwachung zählt dazu noch Manipulation von Verhalten, das massenhafte Sammeln von Gesichtsbildern, das Identifizieren von Emotionen am Arbeitsplatz und in Bildungseinrichtungen, Social-Scoring-Systeme (wie in China) und teilweise auch Predictive Policing bei Einzelpersonen.
Insbesondere die Mitgliedsstaaten wollten aber Ausnahmen, vor allem Strafverfolgungsbehörden sollten mehr Spielraum erhalten. Dass das EU-Parlament sich am Ende nicht vollends durchsetzen konnte, sieht man bereits bei den Ausnahmen beim Preditive Policing. Dasselbe gilt aber auch für die biometrische Überwachung. Bei bestimmten Straftaten und mit richterlichem Beschluss wären demnach biometrische Erfassungssysteme im öffentlichen Raum möglich. Auch Videoaufnahmen lassen sich unter bestimmten Bedingungen im Nachklang noch mit biometrischen Systemen analysieren, um Personen zu identifizieren. Möglich ist das bei Terrorismus oder schweren Straftaten.
In der Mitteilung heißt es zudem, der AI Act werden etwa nicht den Bereich der Nationalen Sicherheit berühren, für den die Mitgliedsstaaten zuständig sind. Ebenso gilt das Regelwerk nicht für Systeme, die ausschließlich für militärische und Verteidigungszwecke verwendet werden.
Kritik: Rote Linien sind nicht durchgezogen
Wie Netzpolitik.org analysiert, sind die roten Linie im AI Act daher nicht durchgezogen, sondern eher schraffiert. Massenüberwachung könnte damit sogar legalisiert werden. Denn auch wenn Behörden nur bei wenigen Fällen die Daten auswerten dürfen, müsste der öffentliche Raum zuvor flächendeckend mit Videokameras überwacht werden
Auch in diesen Bereichen gilt aber: Wie genau die Ausnahmen aussehen und wie diese sich auswirken, lässt sich erst abschätzen, wenn der endgültige Text des AI Act vorliegt.
Fabian und 
Jan-Frederik