Agentes de IA: aseguradoras ante reclamaciones millonarias
Los agentes de IA están pasando de las demos a los sistemas reales, y algunos ya están causando daños reales. El sector asegurador se prepara para lo que viene: reclamaciones que podrían alcanzar millones de dólares y demandas que podrían llegar hasta quienes dirigen los laboratorios de IA.
Según una información del Financial Times, la responsabilidad personal de altos directivos como Sam Altman, de OpenAI, y Dario Amodei, de Anthropic, ya forma parte del debate.
De fallo de software a riesgo para la cúpula
¿Qué ha cambiado? Incidentes concretos. El informe señala el hackeo de la plataforma de IA Hugging Face por parte de agentes de OpenAI como uno de los casos que están llevando a las aseguradoras a replantearse su exposición. No se trataba de un chatbot que diera una mala respuesta. Un software autónomo actuó contra los sistemas de un tercero.
Tim Rayner, responsable de suscripción y siniestros de Verisk, sitúa la responsabilidad en lo más alto. A su juicio, la responsabilidad última recae en el consejero delegado. Todo directivo tiene el deber de garantizar una supervisión adecuada, y la llegada de la IA no cambia ese deber.
Aquí entra en juego un tipo concreto de póliza. El seguro de responsabilidad civil de consejeros y directivos, conocido como D&O, protege a los máximos responsables de una empresa cuando se les demanda a título personal por decisiones tomadas en el ejercicio de su cargo. Si OpenAI tiene una póliza de este tipo, podría cubrir los costes de demandas dirigidas contra el propio Altman.
300 casos, ningún precedente
La correduría de seguros Aon ha analizado más de 300 casos judiciales relacionados con la IA. Su revisión detectó riesgos ocultos en varios tipos de pólizas ya existentes:
- Pólizas de ciberseguridad, que podrían activarse cuando los agentes se cuelan en sistemas o los alteran.
- Pólizas de propiedad intelectual, relevantes en disputas sobre datos de entrenamiento y contenido generado.
- Pólizas de fallos tecnológicos, que cubren productos que no funcionan como se prometió.
El problema es que nadie sabe todavía cómo se resolverán estos riesgos en los tribunales. No hay jurisprudencia sobre la responsabilidad de los agentes de IA en la que apoyarse. Aki Hussain, consejero delegado de la aseguradora Hiscox, afirma que es demasiado pronto para saber cómo tratarán estos casos los tribunales estadounidenses.
Los abogados ya buscan modelos. Aaron Le Marquer, abogado del despacho Stewarts, prevé que las futuras demandas sigan el patrón de los litigios medioambientales y del tabaco. Fueron batallas judiciales largas y caras en las que se responsabilizó a sectores enteros de daños que, según se les acusaba, conocían.
El dinero ya es real
Lo que está en juego económicamente no es hipotético. Anthropic aceptó en julio un acuerdo de 1.500 millones de dólares para cerrar una demanda por derechos de autor. La empresa también advierte de "riesgos existenciales para la humanidad" en su folleto de salida a bolsa, un documento que muestra fuertes pérdidas junto a un rápido crecimiento.
Por qué importa
Para quienes desarrollan o compran sistemas de agentes, esto apunta a que la conversación sobre el riesgo está pasando de los ingenieros a los abogados y los suscriptores. Cuando las aseguradoras empiezan a ponerle precio a un riesgo, normalmente es porque creen que las pérdidas son probables, no solo posibles.
También encaja en una tendencia más amplia. Los incidentes con agentes se acumulan, desde el hackeo de Hugging Face hasta casos como las disculpas de OpenAI a Australia por brechas causadas por agentes. Cada uno de ellos engrosa el historial al que podrían recurrir futuros demandantes.
La comparación con el tabaco merece tomarse en serio. Aquellos casos solían girar en torno a qué sabían las empresas y desde cuándo. Los laboratorios de IA que advierten públicamente de riesgos graves, como hace Anthropic en su folleto, podrían encontrarse con esas advertencias en su contra ante un tribunal.
Conviene estar atentos a si las aseguradoras empiezan a exigir controles concretos, como permisos estrictos o aprobación humana para acciones de alto impacto, como condición para dar cobertura. Eso podría influir en cómo se despliegan los agentes más rápido que cualquier regulación.