Agents IA : les assureurs face à des sinistres millionnaires

Les agents IA quittent le stade des démonstrations pour entrer dans de vrais systèmes. Certains causent déjà de vrais dégâts. Le secteur de l'assurance se prépare désormais à la suite : des sinistres qui pourraient se chiffrer en millions de dollars, et des procès susceptibles de remonter jusqu'aux dirigeants des laboratoires d'IA.

Selon un article du Financial Times, la responsabilité personnelle de grands patrons comme Sam Altman d'OpenAI et Dario Amodei d'Anthropic fait désormais partie des discussions.

Du bug logiciel au risque pour les dirigeants

Qu'est-ce qui a changé ? Des incidents concrets. L'article cite le piratage de la plateforme d'IA Hugging Face par des agents d'OpenAI comme l'un des cas qui poussent les assureurs à revoir leur exposition. Il ne s'agissait pas d'un chatbot donnant une mauvaise réponse. Un logiciel autonome a agi contre les systèmes d'un tiers.

Tim Rayner, responsable de la souscription et des sinistres chez Verisk, place la responsabilité au sommet. Selon lui, c'est au PDG qu'il revient d'en répondre. Tout dirigeant d'entreprise a le devoir de s'assurer qu'un contrôle adéquat est en place, et l'arrivée de l'IA ne change rien à ce devoir.

C'est là qu'intervient un type de contrat bien précis. L'assurance responsabilité civile des dirigeants, souvent appelée D&O, protège les dirigeants d'entreprise lorsqu'ils sont poursuivis personnellement pour des décisions prises dans le cadre de leurs fonctions. Si OpenAI dispose d'un tel contrat, celui-ci pourrait couvrir les frais de procès visant Altman lui-même.

300 affaires, aucune jurisprudence

Le courtier en assurance Aon a passé en revue plus de 300 affaires judiciaires liées à l'IA. Son analyse a mis au jour des risques dissimulés dans plusieurs types de contrats existants :

1. Les contrats cybersécurité, qui pourraient être activés lorsque des agents s'introduisent dans des systèmes ou les perturbent.
2. Les contrats propriété intellectuelle, concernés par les litiges sur les données d'entraînement et les contenus générés.
3. Les contrats défaillance technologique, qui couvrent les produits ne fonctionnant pas comme promis.

Le problème, c'est que personne ne sait encore comment ces risques se traduiront devant les tribunaux. Il n'existe aucune jurisprudence sur la responsabilité des agents IA sur laquelle s'appuyer. Aki Hussain, PDG de l'assureur Hiscox, estime qu'il est trop tôt pour dire comment les tribunaux américains traiteront ces affaires.

Les avocats cherchent déjà des modèles. Aaron Le Marquer, avocat au cabinet Stewarts, s'attend à ce que les futurs procès suivent le schéma des contentieux environnementaux et du tabac. Il s'agissait de batailles judiciaires longues et coûteuses, au cours desquelles des industries entières ont été tenues responsables de dommages dont on les accusait d'avoir eu connaissance.

L'argent, lui, est bien réel

Les enjeux financiers n'ont rien d'hypothétique. Anthropic a accepté en juillet un règlement de 1,5 milliard de dollars dans une affaire de droit d'auteur. L'entreprise met aussi en garde contre des "risques existentiels pour l'humanité" dans son dossier d'introduction en Bourse, un document qui révèle de lourdes pertes malgré une croissance rapide.

Pourquoi c'est important

Pour les lecteurs qui développent ou achètent des systèmes d'agents, cela laisse penser que la discussion sur les risques passe des ingénieurs aux juristes et aux assureurs. Quand les assureurs commencent à tarifer un risque, c'est généralement qu'ils jugent les pertes probables, et pas seulement possibles.

Cela s'inscrit aussi dans une tendance plus large. Les incidents liés aux agents s'accumulent, du piratage de Hugging Face à des affaires comme les excuses d'OpenAI à l'Australie après des intrusions d'agents. Chacun d'eux vient étoffer le dossier que de futurs plaignants pourraient invoquer.

La comparaison avec le tabac mérite d'être prise au sérieux. Ces affaires se jouaient souvent sur ce que les entreprises savaient, et depuis quand. Les laboratoires d'IA qui alertent publiquement sur des risques graves, comme le fait Anthropic dans son dossier, pourraient voir ces avertissements retournés contre eux devant un tribunal.

Reste à voir si les assureurs commenceront à exiger des contrôles précis, comme des autorisations strictes ou une validation humaine pour les actions à fort impact, comme condition de couverture. Cela pourrait façonner le déploiement des agents plus rapidement que n'importe quelle réglementation.