Anthropic donne aux chercheurs de METR un accès d'employé

Anthropic ouvre ses portes à une équipe de sécurité extérieure. Six chercheurs de METR, une organisation à but non lucratif qui teste les modèles d'IA de pointe, disposent désormais au sein de l'entreprise d'un accès équivalent à celui d'un employé. Leur mission : évaluer de manière indépendante les modèles d'Anthropic, ses pratiques en matière de sécurité et sa gestion des risques. L'entreprise a annoncé ce dispositif jeudi dans un billet de blog.

Le moment n'est pas anodin. Depuis fin août, un nouvel incident impliquant un agent d'IA sorti du cadre de ses instructions est révélé environ toutes les une à deux semaines. L'un des cas récents concernait un modèle d'Anthropic ayant transmis à la police un faux signalement de meurtre. Ces épisodes ont renforcé les appels à des contrôles indépendants des entreprises d'IA, et Anthropic tente désormais d'y répondre avec autre chose que des promesses.

Ce que "accès d'employé" signifie concrètement

L'équipe de METR travaille à peu près comme le personnel interne. Ses chercheurs disposent d'ordinateurs portables fournis par Anthropic, de bureaux et d'un accès aux outils internes. Selon Anthropic, cet accès est globalement comparable à celui de ses propres équipes d'évaluation des risques.

L'accès ne se limite pas au matériel et aux logiciels. Anthropic indique que ses employés sont encouragés à partager des informations avec les chercheurs de METR "comme ils le feraient avec un collègue travaillant sur les risques d'alignement". L'alignement désigne ici le fait de s'assurer que les systèmes d'IA se comportent conformément aux intentions de leurs concepteurs.

L'entreprise a énoncé clairement son objectif : "Nous voulons rendre des comptes publiquement sur les décisions que nous prenons." Elle a également indiqué vouloir réduire l'écart entre ce que les évaluateurs externes savent des systèmes d'une entreprise d'IA de pointe et ce que l'entreprise en sait elle-même.

Pour expliquer ce dispositif, Anthropic a pris l'exemple du secteur bancaire. Les régulateurs installent des inspecteurs permanents au sein des plus grandes banques, et Anthropic affirme que l'arrangement avec METR obéit à une logique similaire.

Publication sans droit de veto

Le volet le plus marquant de l'accord concerne ce que METR peut publier. L'organisation publiera ses propres évaluations des risques, des incidents et des pratiques d'Anthropic, et Anthropic a renoncé au droit de les bloquer.

Il y a toutefois des limites. "Anthropic ne peut pas opposer de veto à une publication, mais nous pouvons exiger le caviardage d'informations si elles relèvent de catégories restreintes et définies à l'avance", a précisé l'entreprise. Ces catégories comprennent les données des clients, les éléments couverts par le secret professionnel de l'avocat et les informations sur les architectures de ses modèles.

METR peut aussi s'exprimer publiquement sur ces caviardages. Selon Anthropic, l'organisation est libre de les décrire et de dire si elle les juge justifiés, à condition de ne pas révéler les informations caviardées elles-mêmes.

Un système à trois niveaux

METR occupe le sommet d'une structure à trois niveaux qu'Anthropic met en place pour les évaluateurs externes. Pour l'instant, c'est la seule organisation à ce niveau.

• Niveau inférieur : les évaluateurs mènent des examens ciblés et doivent obtenir l'accord d'Anthropic avant de publier. L'organisation à but non lucratif SecureBio, spécialisée en biosécurité, en est un exemple.
• Niveau intermédiaire : les évaluateurs reçoivent davantage d'informations et peuvent publier sans autorisation.
• Niveau supérieur : les évaluateurs obtiennent tout ce dont bénéficie le niveau intermédiaire, plus l'accès d'employé accordé à METR.

Une promesse de septembre tenue

L'annonce de jeudi concrétise une promesse du PDG d'Anthropic, Dario Amodei. Dans un essai publié en septembre, il proposait d'intégrer des évaluateurs externes au sein des laboratoires d'IA, comme première étape pour ralentir le développement de la technologie.

OpenAI a rapidement pris le même engagement. Depuis, les deux entreprises ont signé, aux côtés de Google, Meta, Nvidia et xAI, un accord de la Maison Blanche qui les engage à se soumettre à un examen indépendant.

Notre analyse

L'idée centrale est simple : les examinateurs externes en apprennent davantage lorsqu'ils travaillent de l'intérieur. Jusqu'ici, la plupart des évaluations indépendantes de l'IA dépendaient de l'accès et de la documentation qu'une entreprise voulait bien fournir. Donner à METR les mêmes outils qu'aux équipes internes chargées des risques, et supprimer le veto sur les publications, change cette relation de manière significative, du moins sur le papier.

Ce dispositif s'inscrit aussi dans une tendance. Anthropic renforce ses propres garde-fous depuis des semaines, notamment avec la décision de couper ses évaluations internes d'IA de l'internet ouvert. Dans tout le secteur, les laboratoires reconnaissent que leurs systèmes ne sont pas entièrement sous contrôle. OpenAI, par exemple, a récemment laissé entendre que son modèle phare nécessite encore du travail d'alignement. Une supervision indépendante apparaît comme la prochaine étape logique.

Reste que beaucoup dépend de détails encore invisibles. Six chercheurs, c'est une petite équipe pour une entreprise de la taille d'Anthropic. Les catégories de caviardage semblent restreintes, mais la fréquence à laquelle elles seront invoquées comptera. La liberté de METR de commenter ces caviardages pourrait devenir le garde-fou le plus utile de tout le dispositif.

Trois points méritent d'être suivis. D'abord, ce que dira réellement la première évaluation publiée par METR, et à quel point elle sera caviardée. Ensuite, si d'autres évaluateurs accèdent au niveau supérieur. Enfin, si OpenAI, Google, Meta, Nvidia et xAI offriront un accès comparable dans le cadre de l'accord de la Maison Blanche, ou se contenteront de formes d'examen plus légères. La comparaison avec le secteur bancaire suggère un modèle de supervision durable, mais il ne tiendra que si l'accès s'avère réel et si les rapports peuvent être critiques.