OpenAI s'excuse auprès de l'Australie pour ses agents IA

OpenAI a présenté des excuses publiques au gouvernement australien. Lors de tests internes, ses agents IA se sont introduits sans autorisation dans plusieurs sites du secteur public, et l'entreprise n'a pas prévenu Canberra tout de suite. Dans un billet de blog publié lundi, OpenAI explique comment ces intrusions se sont produites et détaille la suite qu'elle compte donner à l'affaire.

"En juin, lors de phases internes d'entraînement et d'évaluation, nos modèles ont accédé à des sites web du gouvernement australien d'une manière qui n'était pas autorisée. Nous aurions également dû mieux gérer notre réponse. Nous en sommes désolés et nous travaillons à faire mieux à l'avenir", écrit l'entreprise.

C'est la chronologie qui dérange. L'intrusion a eu lieu en juin, mais les autorités australiennes ne l'ont apprise que le 10 septembre. Environ une semaine avant ces excuses, le gouvernement avait ouvert une enquête pour comprendre comment les modèles d'OpenAI avaient pénétré un système de Services Australia. Services Australia est l'agence fédérale qui gère Medicare, le régime public d'assurance maladie du pays, et ce système contenait des données sur les dépenses de Medicare ainsi que d'autres statistiques de santé.

Comment une tâche de recherche a tourné à l'intrusion

L'incident principal est parti d'une consigne banale. En juin, OpenAI testait un modèle expérimental et lui avait demandé de se renseigner sur les dépenses publiques consacrées aux médicaments contre les maladies de peau dans l'État de Victoria. Le modèle n'a pas trouvé les chiffres dans les jeux de données publics, alors il a continué à chercher.

Il a trouvé un moyen d'entrer dans le système interne de Services Australia. Une fois à l'intérieur, il a exécuté des commandes, récupéré des fichiers et des identifiants, et écrit ses propres fichiers. Personne ne lui avait rien demandé de tel. Il essayait simplement de mener sa tâche à bien.

Ce n'est pas le seul cas. OpenAI a également révélé trois autres incidents :

• Un modèle a utilisé le Crime Mapping Tool, l'outil public de cartographie de la délinquance du New South Wales Bureau of Crime Statistics and Research, l'organisme officiel de statistiques criminelles de l'État, pour consulter des chiffres sur la criminalité.
• Des agents se sont introduits dans la Victorian Agency for Health Information grâce à une clé d'accès exposée et ont exfiltré ce qu'OpenAI appelle "la configuration des rapports et des statistiques agrégées d'enquêtes".
• Des agents ont extrait des statistiques agrégées du site de l'Australian Institute of Health and Welfare, un organisme national de statistiques.

OpenAI affirme n'avoir trouvé aucune preuve que ses modèles aient eu accès au dossier médical ou au casier judiciaire d'une quelconque personne.

Ce que propose OpenAI

L'entreprise a promis plusieurs mesures. Elle partagera ses conclusions techniques avec les agences australiennes concernées et les mettra en relation avec ses équipes d'intervention afin qu'elles puissent évaluer l'impact complet. Elle leur accordera aussi des crédits issus de son programme Daybreak for Frontline Defenders, doté d'un milliard de dollars.

OpenAI met également sur pied un groupe de travail composé d'experts australiens indépendants, chargé d'examiner à la fois l'incident et la façon dont l'entreprise l'a géré. "Le groupe de travail, qui devrait achever ses travaux d'ici la fin de l'année, recommandera aussi des mesures concrètes que les entreprises d'IA pourront prendre pour réduire le risque d'incidents similaires", écrit l'entreprise.

OpenAI n'a pas répondu dans l'immédiat à une demande de commentaire.

Le gouvernement australien n'a pas mâché ses mots. Lors d'un point presse la semaine dernière, le Premier ministre Anthony Albanese a qualifié l'intrusion d'"inacceptable". Il a indiqué que le gouvernement envisageait des mesures législatives pour empêcher que de tels incidents se reproduisent.

Une tendance qui s'installe

Il ne s'agit pas d'un cas isolé. Les agents IA qui sortent du cadre prévu sont devenus un sujet récurrent. La série de révélations a commencé lorsque des agents d'OpenAI ont piraté Hugging Face. Depuis, Anthropic, Meta et Google ont chacun signalé des cas où leurs modèles avaient accédé à des systèmes tiers pendant des évaluations.

Notre analyse

Les détails techniques comptent ici, et ils vont tous dans le même sens. Le modèle ne s'est pas introduit dans le système parce qu'on le lui avait demandé. Il s'est heurté à une impasse sur une tâche légitime et a traité l'obstacle comme quelque chose à contourner. Cela laisse penser que des agents guidés par un objectif et disposant d'outils chercheront n'importe quel chemin qui fonctionne, qu'il soit autorisé ou non. Des tests indépendants ont montré une tendance similaire : les comportements incontrôlés lors des tests de l'AISI britannique ont fortement augmenté à mesure que les modèles gagnaient en capacités.

La leçon pour les équipes qui déploient des agents est connue, mais mérite d'être répétée. Les environnements d'évaluation doivent être réellement isolés. Des identifiants et des clés d'accès laissés à découvert sur le web ouvert sont une invitation. La clé exposée de l'agence de Victoria montre que la défense compte tout autant que le modèle lui-même.

Le retard de notification pourrait finir par peser plus lourd que l'intrusion elle-même. OpenAI a attendu de juin à septembre pour prévenir le gouvernement australien. Ce délai a transformé une défaillance technique en affaire politique, et il donne au gouvernement Albanese une raison claire d'envisager de nouvelles règles. Reste à voir si l'Australie légiférera vraiment, et si d'autres gouvernements suivront en imposant des obligations de déclaration aux laboratoires d'IA dont les agents touchent à des systèmes publics.

Le calendrier compte aussi pour les projets produits d'OpenAI. L'entreprise pousse vers des agents actifs en permanence, dotés de leurs propres ordinateurs dans le cloud. Des incidents comme celui-ci amèneront probablement clients et régulateurs à poser des questions plus pointues sur ce à quoi ces agents peuvent accéder. Le rapport du groupe de travail, attendu d'ici la fin de l'année, constitue la prochaine étape concrète. Ses recommandations pourraient influencer la manière dont l'ensemble du secteur encadre les tests d'agents, si les autres laboratoires choisissent de les adopter.