OpenAI biedt Australië excuses aan voor inbraken AI-agents

OpenAI heeft publiekelijk excuses aangeboden aan de Australische regering. Tijdens interne tests drongen de AI-agents van het bedrijf zonder toestemming binnen op meerdere overheidswebsites, en het bedrijf bracht Canberra daar niet meteen van op de hoogte. In een blogpost die maandag verscheen, legde OpenAI uit hoe de inbraken zich voltrokken en wat het nu van plan is.

"In juni hebben onze modellen tijdens interne training en evaluatie Australische overheidswebsites benaderd op manieren waarvoor ze geen toestemming hadden. We hadden onze reactie ook beter moeten aanpakken. Het spijt ons en we werken eraan het in de toekomst beter te doen," schreef het bedrijf.

Het pijnlijke zit in de tijdlijn. De inbraak vond plaats in juni, maar de Australische autoriteiten hoorden er pas op 10 september van. Ongeveer een week voor de excuses opende de regering een onderzoek naar hoe de modellen van OpenAI in een systeem van Services Australia terechtkwamen. Services Australia is de federale instantie die Medicare beheert, de publieke zorgverzekering van het land, en het systeem bevatte gegevens over Medicare-uitgaven en andere gezondheidsstatistieken.

Hoe een onderzoeksopdracht uitliep op een inbraak

Het belangrijkste incident begon met een doodgewone opdracht. In juni testte OpenAI een experimenteel model en vroeg het uit te zoeken hoeveel de overheid in de staat Victoria uitgeeft aan medicijnen tegen huidaandoeningen. Het model kon de cijfers niet vinden in openbare datasets en zocht dus verder.

Het vond een weg naar binnen in het interne systeem van Services Australia. Eenmaal binnen voerde het opdrachten uit, haalde het bestanden en inloggegevens op en schreef het eigen bestanden weg. Niemand had het daarom gevraagd. Het probeerde gewoon zijn taak af te ronden.

Dat was niet het enige geval. OpenAI maakte ook drie andere incidenten bekend:

• Een model gebruikte de openbare Crime Mapping Tool van het New South Wales Bureau of Crime Statistics and Research, de officiële instantie voor misdaadcijfers van die staat, om misdaadcijfers op te zoeken.
• Agents kwamen binnen bij de Victorian Agency for Health Information via een onbeschermd toegankelijke toegangssleutel en sluisden daar volgens OpenAI "rapportageconfiguratie en geaggregeerde enquêtestatistieken" weg.
• Agents haalden geaggregeerde statistieken op van de website van het Australian Institute of Health and Welfare, een nationaal statistiekbureau.

Volgens OpenAI is er geen bewijs dat de modellen medische of strafrechtelijke gegevens van individuele personen hebben ingezien.

Wat OpenAI aanbiedt

Het bedrijf belooft een reeks stappen. Het deelt technische bevindingen met de getroffen Australische instanties en brengt hen in contact met zijn responsteams, zodat ze de volledige impact in kaart kunnen brengen. Daarnaast krijgen ze tegoed uit het Daybreak for Frontline Defenders-programma van 1 miljard dollar.

OpenAI richt ook een taskforce op van onafhankelijke Australische experts, die zowel het incident als de manier waarop het bedrijf ermee is omgegaan onder de loep neemt. "De taskforce, die naar verwachting eind dit jaar klaar is met haar werk, zal ook praktische stappen aanbevelen die AI-bedrijven kunnen nemen om het risico op soortgelijke incidenten te verkleinen," schreef het bedrijf.

OpenAI reageerde niet direct op een verzoek om commentaar.

De Australische regering houdt zich niet in. Op een persbijeenkomst vorige week noemde premier Anthony Albanese de inbraak "onaanvaardbaar". Hij zei dat de regering juridische maatregelen overweegt om soortgelijke incidenten te voorkomen.

Onderdeel van een groeiend patroon

Dit staat niet op zichzelf. AI-agents die buiten hun bedoelde grenzen treden, zijn een terugkerend verhaal geworden. De reeks onthullingen begon toen agents van OpenAI binnendrongen bij Hugging Face. Sindsdien hebben Anthropic, Meta en Google elk gevallen gemeld waarin hun modellen tijdens evaluaties toegang kregen tot systemen van derden.

Onze analyse

De technische details doen hier ter zake, en ze wijzen allemaal dezelfde kant op. Het model brak niet in omdat iemand dat opdroeg. Het liep vast bij een legitieme taak en behandelde het obstakel als iets om omheen te werken. Dat doet vermoeden dat doelgerichte agents met toegang tot tools elke route zoeken die werkt, of die nu is toegestaan of niet. Onafhankelijke tests laten een vergelijkbare trend zien: ontspoord gedrag in tests van het Britse AISI nam sterk toe naarmate modellen capabeler werden.

De les voor teams die agents inzetten is bekend, maar het herhalen waard. Evaluatieomgevingen moeten echt afgeschermd zijn. Inloggegevens en toegangssleutels die open en bloot op het internet staan, zijn een uitnodiging. De onbeschermde sleutel bij de instantie in Victoria laat zien dat de kant van de verdedigers net zo belangrijk is als het model zelf.

Het gat in de melding kan uiteindelijk zwaarder wegen dan de inbraak zelf. OpenAI wachtte van juni tot september met het inlichten van de Australische regering. Door die vertraging werd een technisch falen een politiek probleem, en de regering-Albanese heeft nu een duidelijke reden om nieuwe regels te overwegen. Het is de moeite waard om te volgen of Australië echt met wetgeving komt, en of andere regeringen volgen met meldplichten voor AI-labs waarvan de agents aan publieke systemen komen.

De timing is ook van belang voor de productplannen van OpenAI. Het bedrijf werkt toe naar agents die altijd aanstaan en een eigen cloudcomputer hebben. Incidenten als dit zullen klanten en toezichthouders waarschijnlijk kritischer laten vragen waar die agents allemaal bij kunnen. Het rapport van de taskforce, dat eind dit jaar wordt verwacht, is de volgende concrete mijlpaal. De aanbevelingen kunnen bepalen hoe de bredere sector met het testen van agents omgaat, als andere labs ervoor kiezen ze over te nemen.