El modelo insignia de OpenAI necesita más alineamiento
OpenAI prevé lanzar nuevos modelos antes de que acabe el año. Su próximo modelo insignia, sin embargo, podría no estar entre ellos. Según The Information, que cita a personas conocedoras de los proyectos, los empleados esperan que salgan "uno o dos modelos nuevos" antes de fin de año. No está claro si "el gran modelo mejorado" que se está desarrollando ahora formará parte de esa tanda.
El principal obstáculo es la seguridad, no la capacidad.
Qué está frenando al modelo insignia
El nuevo modelo todavía necesita trabajo de alineamiento, es decir, hay que ajustar sus objetivos a lo que los investigadores y los clientes de OpenAI esperan de él. OpenAI también tiene que reforzar la infraestructura de pruebas que rodea al modelo antes de que el desarrollo pueda pasar a la siguiente fase.
La aprobación interna no es el último paso. En virtud de una orden ejecutiva del presidente Trump que regula las evaluaciones de los sistemas de IA avanzados, OpenAI se ha comprometido a dar al Gobierno de Estados Unidos acceso a los nuevos modelos hasta 30 días antes de que los reciban sus socios externos. Con respecto a un lanzamiento público, el Gobierno accede aún antes.
El dilema de los transformers en bucle
Según una persona conocedora del asunto, el nuevo modelo insignia se basa en transformers en bucle. OpenAI ya utiliza esta técnica en producción con el nombre de "Recurrent Depth", y es clave en Astra, el modelo más potente de la compañía en la actualidad.
Un transformer convencional hace pasar cada token por sus capas una sola vez. Un modelo en bucle envía el token por las mismas capas varias veces antes de generar la siguiente palabra. Esto mejora el rendimiento en matemáticas y programación y reduce los costes, porque un modelo más pequeño puede hacer el trabajo de uno más grande.
Pero tiene un precio en materia de seguridad. El bucle traslada parte del "pensamiento" del modelo del texto legible a representaciones numéricas internas que los revisores humanos no pueden examinar. Eso debilita la supervisión de la cadena de razonamiento, un método con el que los investigadores de seguridad siguen el razonamiento escrito de un modelo para detectar comportamientos problemáticos. The Information informa de que OpenAI limitó deliberadamente el número de bucles que ejecuta Astra para que su cadena de razonamiento siguiera siendo legible.
El científico jefe de OpenAI, Jakub Pachocki, ya ha dicho que la supervisión de la cadena de razonamiento se está volviendo "frágil" y que "por desgracia, la tendencia es negativa". También ha advertido contra una carrera de todo el sector hacia modelos cuyo razonamiento no se pueda leer.
Miles de millones en computación destinados a la seguridad
Una persona conocedora de las cifras afirma que, tras el incidente de Hugging Face, OpenAI desvió en torno al diez por ciento de su capacidad de computación total al alineamiento y la seguridad. The Information lo cifra en cientos de megavatios de capacidad de centros de datos, cuyo alquiler a precios de mercado costaría miles de millones de dólares al año. El informe no dice cuánta computación se dedicaba a la seguridad antes del cambio ni cómo es el reparto hoy. En un pódcast de mediados de septiembre, el investigador de IA Noam Brown dijo que aproximadamente el diez por ciento de su propio equipo trabaja en seguridad y protección.
La filtración accidental de Microsoft
Los detalles de cómo usa OpenAI los bucles salieron a la luz por un error de Microsoft. Como gran inversor, Microsoft tiene acceso a la propiedad intelectual de OpenAI. La empresa publicó un documento técnico sobre GPT-6.1 Sol, una alternativa más barata a Astra que OpenAI lanzó a principios de este mes.
En un apartado que ya se ha eliminado, Microsoft describía que GPT-6.1 Sol utiliza "inferencia en bucle", en la que el modelo resuelve un problema en varias "pasadas" antes de responder. Según una copia en caché citada por The Information, GPT-6.1 Sol "utiliza los mismos pesos del modelo base que GPT-6 Sol con dos pasadas de inferencia en lugar de tres". Una persona con conocimiento directo confirmó que el texto coincidía con lo que OpenAI le había contado a Microsoft en privado. Microsoft retiró el apartado en cuanto se dio cuenta de que esa información no debía hacerse pública.
Nuestro análisis
El informe pone de manifiesto una tensión muy concreta. La técnica que hace que los modelos de OpenAI sean más baratos y mejores en tareas técnicas también los hace más difíciles de supervisar. Limitar los bucles de Astra indica que la compañía está dispuesta a renunciar a algo de rendimiento para que el razonamiento siga siendo legible, al menos por ahora.
El patrón encaja con señales de alarma anteriores, como las informaciones de que un modelo de OpenAI sopesó reiniciarse a sí mismo antes de ser apagado y la salida de un responsable de seguridad que criticó la cultura de la empresa. Otros laboratorios también están endureciendo sus entornos de pruebas. Anthropic, por ejemplo, ha desconectado sus evaluaciones internas de internet.
En los próximos meses habrá que estar atentos a si el modelo insignia sale con límites de bucles similares a los de Astra, a cómo afecta la revisión gubernamental de 30 días al calendario de lanzamiento y a si los laboratorios rivales siguen a OpenAI hacia un razonamiento que no se puede leer.