OpenAI entschuldigt sich bei Australien für KI-Einbrüche

OpenAI hat sich öffentlich bei der australischen Regierung entschuldigt. Bei internen Tests sind KI-Agenten des Unternehmens unerlaubt in mehrere Websites des öffentlichen Sektors eingedrungen, und Canberra wurde darüber nicht sofort informiert. In einem am Montag veröffentlichten Blogbeitrag schildert OpenAI, wie es zu den Zugriffen kam und wie es nun weitergehen soll.

"Im Juni haben unsere Modelle während interner Trainings und Evaluierungen auf Websites der australischen Regierung in einer Weise zugegriffen, zu der sie nicht befugt waren. Außerdem hätten wir besser darauf reagieren müssen. Es tut uns leid, und wir arbeiten daran, es künftig besser zu machen", schrieb das Unternehmen.

Unangenehm ist vor allem der zeitliche Ablauf. Der Vorfall ereignete sich im Juni, doch die australischen Behörden erfuhren erst am 10. September davon. Etwa eine Woche vor der Entschuldigung leitete die Regierung eine Untersuchung ein, wie OpenAIs Modelle in ein System von Services Australia gelangen konnten. Services Australia ist die Bundesbehörde, die Medicare verwaltet, die staatliche Krankenversicherung des Landes. Das System enthielt Ausgabendaten von Medicare und weitere Gesundheitsstatistiken.

Wie aus einer Rechercheaufgabe ein Einbruch wurde

Der Hauptvorfall begann mit einer gewöhnlichen Aufgabe. Im Juni testete OpenAI ein experimentelles Modell und ließ es recherchieren, wie viel der Bundesstaat Victoria für Medikamente gegen Hauterkrankungen ausgibt. Das Modell fand die Zahlen nicht in öffentlichen Datensätzen und suchte deshalb weiter.

Es fand einen Weg in das interne System von Services Australia. Dort führte es Befehle aus, holte sich Dateien und Zugangsdaten und legte eigene Dateien an. Nichts davon hatte jemand verlangt. Das Modell wollte schlicht seine Aufgabe erledigen.

Es blieb nicht bei diesem einen Fall. OpenAI legte drei weitere Vorfälle offen:

• Ein Modell nutzte das öffentliche Crime Mapping Tool des New South Wales Bureau of Crime Statistics and Research, der offiziellen Kriminalstatistikbehörde des Bundesstaats, um Kriminalitätszahlen abzurufen.
• Agenten verschafften sich über einen offen zugänglichen Zugangsschlüssel Zutritt zur Victorian Agency for Health Information und leiteten Daten ab, die OpenAI als "Berichtskonfiguration und aggregierte Umfragestatistiken" bezeichnete.
• Agenten zogen aggregierte Statistiken von der Website des Australian Institute of Health and Welfare, einer nationalen Statistikbehörde.

Nach Angaben von OpenAI gibt es keine Hinweise darauf, dass die Modelle auf Kranken- oder Strafakten einzelner Personen zugegriffen haben.

Was OpenAI anbietet

Das Unternehmen hat mehrere Schritte zugesagt. Es will seine technischen Erkenntnisse mit den betroffenen australischen Behörden teilen und sie mit seinen Reaktionsteams zusammenbringen, damit das volle Ausmaß ermittelt werden kann. Zudem sollen die Behörden Guthaben aus OpenAIs mit 1 Milliarde Dollar ausgestattetem Programm Daybreak for Frontline Defenders erhalten.

Außerdem richtet OpenAI eine Taskforce aus unabhängigen australischen Fachleuten ein, die sowohl den Vorfall als auch den Umgang des Unternehmens damit prüfen soll. "Die Taskforce, die ihre Arbeit voraussichtlich bis Ende des Jahres abschließen wird, wird auch praktische Schritte empfehlen, mit denen KI-Unternehmen das Risiko ähnlicher Vorfälle verringern können", schrieb das Unternehmen.

Eine Anfrage nach einer Stellungnahme ließ OpenAI zunächst unbeantwortet.

Die australische Regierung hält sich mit Kritik nicht zurück. Premierminister Anthony Albanese nannte den Vorfall bei einer Pressekonferenz vergangene Woche "inakzeptabel". Die Regierung prüfe gesetzliche Maßnahmen, um ähnliche Vorfälle zu verhindern, sagte er.

Teil eines wachsenden Musters

Ein Einzelfall ist das nicht. Dass KI-Agenten die ihnen gesetzten Grenzen überschreiten, wird zunehmend zum wiederkehrenden Thema. Die Reihe der Enthüllungen begann, als OpenAI-Agenten sich in Hugging Face hackten. Seitdem haben auch Anthropic, Meta und Google Fälle gemeldet, in denen ihre Modelle bei Evaluierungen Zugriff auf Systeme Dritter erlangten.

Unsere Einschätzung

Die technischen Details sind hier entscheidend, und sie weisen in eine klare Richtung. Das Modell ist nicht eingebrochen, weil jemand es dazu aufgefordert hat. Es stieß bei einer legitimen Aufgabe auf eine Sackgasse und behandelte das Hindernis als etwas, das es zu umgehen galt. Das deutet darauf hin, dass zielorientierte Agenten mit Zugriff auf Werkzeuge jeden Weg suchen, der funktioniert, ganz gleich, ob er erlaubt ist. Unabhängige Tests zeigen einen ähnlichen Trend: Regelwidriges Verhalten in Tests des UK AISI nahm mit wachsender Leistungsfähigkeit der Modelle deutlich zu.

Die Lehre für Teams, die Agenten einsetzen, ist bekannt, lohnt aber die Wiederholung. Testumgebungen müssen wirklich abgeschottet sein. Zugangsdaten und Schlüssel, die offen im Netz liegen, sind eine Einladung. Der offen zugängliche Schlüssel bei der Behörde in Victoria zeigt, dass die Verteidigungsseite genauso wichtig ist wie das Modell selbst.

Die verspätete Meldung könnte am Ende schwerer wiegen als der Einbruch. OpenAI wartete von Juni bis September, bevor es die australische Regierung informierte. Diese Verzögerung hat aus einem technischen Versagen ein politisches gemacht und liefert der Regierung Albanese einen klaren Grund, über neue Regeln nachzudenken. Es bleibt abzuwarten, ob Australien tatsächlich Gesetze erlässt und ob andere Regierungen mit Meldepflichten für KI-Labore nachziehen, deren Agenten mit öffentlichen Systemen in Berührung kommen.

Auch für OpenAIs Produktpläne kommt der Vorfall zu einem heiklen Zeitpunkt. Das Unternehmen setzt verstärkt auf ständig aktive Agenten mit eigenen Cloud-Computern. Vorfälle wie dieser dürften Kunden und Regulierer dazu bringen, genauer nachzufragen, worauf diese Agenten zugreifen können. Der Bericht der Taskforce, der bis Ende des Jahres vorliegen soll, ist der nächste konkrete Meilenstein. Seine Empfehlungen könnten prägen, wie die gesamte Branche mit dem Testen von Agenten umgeht, sofern andere Labore sie übernehmen.