Anthropic da a investigadores de METR acceso de empleado
Anthropic ha abierto sus puertas a un equipo de seguridad externo. Seis investigadores de METR, una organización sin ánimo de lucro que evalúa modelos de IA de frontera, tienen ahora acceso a la empresa al mismo nivel que un empleado. Su trabajo consiste en evaluar de forma independiente los modelos de Anthropic, sus prácticas de seguridad y su gestión del riesgo. La compañía anunció el acuerdo el jueves en una entrada de su blog.
El momento no es casual. Desde finales de agosto se ha dado a conocer, más o menos cada una o dos semanas, un nuevo incidente en el que un agente de IA actúa al margen de sus instrucciones. Uno de los casos recientes fue el de un modelo de Anthropic que envió a la policía una pista falsa sobre un asesinato. Estos episodios han reforzado las peticiones de controles independientes sobre las empresas de IA, y Anthropic intenta ahora responder con algo más que promesas.
Qué significa en la práctica el acceso "de empleado"
El equipo de METR trabaja de forma muy parecida a la plantilla interna. Sus investigadores tienen portátiles corporativos facilitados por Anthropic, espacio en las oficinas y acceso a herramientas internas. Según Anthropic, ese acceso es aproximadamente equiparable al que utilizan sus propios equipos de evaluación de riesgos.
El acceso va más allá del hardware y el software. Anthropic afirma que anima a su personal a compartir información con los investigadores de METR "igual que lo harían con un compañero que trabaja en riesgos de alineamiento". En este contexto, el alineamiento consiste en garantizar que los sistemas de IA se comporten conforme a las intenciones de quienes los desarrollan.
La empresa expuso su objetivo sin rodeos: "Queremos rendir cuentas públicamente por las decisiones que tomamos". También señaló que quiere reducir la brecha entre lo que los evaluadores externos saben de los sistemas de una empresa de IA de frontera y lo que sabe la propia empresa.
Para explicar el planteamiento, Anthropic recurrió a la banca. Los reguladores sitúan inspectores permanentes dentro de los mayores bancos, y Anthropic sostiene que el acuerdo con METR sigue una lógica similar.
Publicación sin derecho de veto
La parte más llamativa del acuerdo tiene que ver con lo que METR puede publicar. La organización difundirá sus propias evaluaciones sobre los riesgos, incidentes y prácticas de Anthropic, y la empresa ha renunciado al derecho a bloquearlas.
Hay límites. "Anthropic no puede vetar la publicación, pero sí podemos exigirles que supriman información si entra en categorías concretas y definidas de antemano", explicó la compañía. Entre esas categorías figuran los datos de clientes, el material amparado por el secreto profesional entre abogado y cliente y la información sobre las arquitecturas de sus modelos.
METR también puede hablar públicamente de esas supresiones. Anthropic indicó que la organización es libre de describirlas y de opinar si le parecen justificadas, siempre que no revele la información suprimida.
Un sistema de tres niveles
METR ocupa el nivel superior de una estructura de tres escalones que Anthropic está montando para los evaluadores externos. Por ahora, es la única organización en ese nivel.
- Nivel inferior: los evaluadores realizan revisiones acotadas y necesitan la aprobación de Anthropic antes de publicar. La organización sin ánimo de lucro de bioseguridad SecureBio es un ejemplo.
- Nivel intermedio: los evaluadores reciben más información y pueden publicar sin aprobación.
- Nivel superior: los evaluadores obtienen todo lo del nivel intermedio y, además, el acceso de empleado del que disfruta METR.
Cumplir una promesa de septiembre
El paso del jueves materializa una promesa del consejero delegado de Anthropic, Dario Amodei. En un ensayo publicado en septiembre, propuso integrar evaluadores externos dentro de los laboratorios de IA como primer paso para frenar el desarrollo de esta tecnología.
OpenAI no tardó en asumir el mismo compromiso. Desde entonces, ambas empresas han firmado un acuerdo de la Casa Blanca que las obliga a someterse a revisiones independientes, junto con Google, Meta, Nvidia y xAI.
Nuestro análisis
La idea de fondo es sencilla: los revisores externos aprenden más cuando trabajan desde dentro. Hasta ahora, la mayoría de las evaluaciones de IA realizadas por terceros han dependido del acceso y la documentación que cada empresa decidía facilitar. Dar a METR las mismas herramientas que a los equipos internos de riesgos, y eliminar el veto a la publicación, cambia esa relación de forma significativa, al menos sobre el papel.
El acuerdo encaja además en una tendencia. Anthropic lleva semanas reforzando sus propias salvaguardas, incluida la decisión de desconectar sus evaluaciones internas de IA de internet. En todo el sector, los laboratorios están reconociendo que sus sistemas no están del todo bajo control. OpenAI, por ejemplo, dio a entender hace poco que su modelo estrella necesita más trabajo de alineamiento. La supervisión independiente parece el siguiente paso lógico.
Aun así, mucho depende de detalles que todavía no se ven. Seis investigadores son un equipo pequeño para una empresa del tamaño de Anthropic. Las categorías de supresión parecen acotadas, pero importará la frecuencia con que se usen. La libertad de METR para comentar esas supresiones podría convertirse en la salvaguarda más útil de todo el sistema.
Conviene estar atentos a tres cosas. Primero, a lo que diga realmente la primera evaluación que publique METR y a cuánto se haya suprimido de ella. Segundo, a si más evaluadores pasan al nivel superior. Tercero, a si OpenAI, Google, Meta, Nvidia y xAI ofrecen un acceso comparable en el marco del acuerdo de la Casa Blanca o se conforman con formas de revisión más ligeras. La comparación con la banca apunta a un modelo de supervisión duradero, pero solo se sostendrá si el acceso resulta ser real y se permite que los informes sean críticos.