TheoPhysEval: GPT-6-Astra resuelve 49 de 50 retos de física

Un nuevo benchmark sitúa a los agentes de IA comerciales al nivel de los mejores especialistas en física teórica, al menos en un tipo de trabajo: los cálculos detallados que ocupan buena parte de la semana de un investigador. GPT-6-Astra, de OpenAI, acertó casi todos los problemas. Aun así, los autores sostienen que eso no equivale a hacer física.

Qué mide TheoPhysEval

TheoPhysEval lo han elaborado 35 investigadores de instituciones como el International Centre for Theoretical Sciences (ICTS), la Universidad de Harvard, la KU Leuven y Google DeepMind. Reúne 50 problemas de investigación inéditos con respuestas verificables, repartidos entre once subcampos. Abarcan desde flujos de fluidos y procesos biológicos hasta la física de partículas y la cosmología.

No se trata de grandes preguntas abiertas. Los autores los llaman tareas de "darle a la manivela", en las que un investigador aplica métodos conocidos a una pregunta ligeramente modificada. Los colaboradores solían tomar un cálculo de alguno de sus artículos recientes y cambiar unos cuantos valores para que el resultado anterior no se pudiera reutilizar sin más. Un experto destacado en el subcampo correspondiente necesitaría normalmente un día o menos para resolver uno sin IA. Los investigadores de campos cercanos tardarían bastante más. Este tipo de tareas suele encargarse a los doctorandos como primer paso en la investigación.

"Rutinario" no significa fácil. Uno de los problemas sobre agujeros negros exige localizar un artículo antiguo, trasladar sus ecuaciones del espacio-tiempo de cinco dimensiones al de cuatro y ejecutar un programa a medida para obtener el resultado. El coordinador Suvrat Raju, coautor del artículo original, necesitó aproximadamente un día. Según calculan los autores, antes de que existieran los agentes actuales solo un puñado de expertos reunía a la vez la formación en física y la experiencia computacional necesarias para intentarlo. E incluso ellos habrían necesitado varios días.

Los resultados

Los agentes no recibieron ninguna pista humana. Cada uno se ejecutó dos veces: una con búsqueda web y otra totalmente sin conexión.

1. GPT-6-Astra (en el entorno Codex de OpenAI): 49 de 50 aciertos, es decir, un 98 por ciento. El coste medio fue de menos de 3 dólares por problema y de algo menos de 116 dólares para el conjunto completo.
2. Opus 5.5 (Anthropic, en Claude Code): 92 por ciento.
3. Gemini 3.8 Flash (Google): 68 por ciento.
4. DeepSeek-V4.1-Flash y GLM 5.3 (de pesos abiertos): 54 y 42 por ciento.

Algunos fallos fueron elementales. En la tarea del agujero negro, Gemini y GLM copiaron sin cambios las fórmulas de cinco dimensiones del artículo antiguo, algo que un experto habría detectado al instante.

Trabajar sin conexión influyó menos de lo previsto. Sin internet, tanto Astra como Opus obtuvieron un 92 por ciento, pese a que muchos problemas dependen de fórmulas de artículos que no se facilitaron a los modelos. Los autores lo interpretan como señal de que los modelos punteros han memorizado, en la práctica, buena parte de la literatura de física teórica.

El único problema que ningún modelo resolvió pedía una ecuación que generara una curva dada. La respuesta del experto se basa en formas matemáticas especiales que solo cuentan como la ecuación diferencial exigida en un sentido amplio. Los autores admiten que puede parecer "injusto", pero defienden que es realista, ya que los investigadores a menudo tienen que deducir la física que hay detrás de datos imprecisos.

Cuando la solución de referencia estaba mal

En varios problemas, las consultas posteriores con los expertos sacaron a la luz pequeños errores en sus propias soluciones de referencia. Una vez corregidos, las respuestas de Astra resultaron correctas en todos los casos. Esto podría explicar por qué los agentes rinden mejor aquí que en benchmarks como CritPt, aunque los autores consideran sus propios problemas más difíciles. Un estudio reciente concluyó que algunos benchmarks de física se corrigen de forma incorrecta y pueden infravalorar seriamente a los modelos. El conjunto de datos y la configuración de las pruebas están disponibles en Hugging Face.

Falta "gusto"

Los autores califican los resultados de hito importante y afirman que algunos modelos actuales quizá ya superen a los mejores investigadores humanos en cálculos concretos. Las matemáticas han ido más lejos: según OpenAI, allí los agentes han resuelto problemas abiertos importantes, entre ellos el problema del milenio de Navier-Stokes. Esto se suma a iniciativas como la publicación de cientos de demostraciones generadas por IA. En física no se ha producido ningún avance comparable.

La explicación de los autores es que el cálculo llega al final de la investigación. Antes, alguien tiene que construir una teoría, plantearle las preguntas adecuadas y, cuando se atasca, pasar a un problema más sencillo pero igual de interesante. Ahí los agentes flojean. Además, parecen carecer de esa intuición compartida, aunque discutida, sobre qué hace que un problema merezca la pena. Cuando se les pide diseñar problemas nuevos, se pierden en detalles que a las personas les resultan aburridos. Los autores subrayan que estos aspectos no se pueden medir y que no constituyen una predicción.

El panorama general

Todo apunta a que el cuello de botella de la ciencia asistida por IA se está desplazando del cálculo al criterio. El patrón se parece al de otros casos recientes, como el mapa del cielo en ultravioleta de Claude Science, en el que los agentes se encargan de buena parte de la ejecución mientras los humanos siguen planteando las preguntas.

Los autores señalan dos preocupaciones prácticas. La primera, que problemas como estos ya no sirven bien como primeros proyectos para investigadores noveles. La segunda, que la física teórica siempre ha sido barata en comparación con la experimental, lo que ha mantenido el campo relativamente abierto. Si los problemas más difíciles requieren mucha más capacidad de cómputo, los presupuestos podrían empezar a decidir quién puede competir. En matemáticas ya se debate sobre ello, por ejemplo en torno a la Declaración de Leiden.

Merece la pena estar atentos a si la física abre un debate similar y a si los futuros benchmarks intentan evaluar la elección de problemas y no solo el cálculo. Los autores concluyen sugiriendo que el viejo lema del campo, "cállate y calcula", quizá tenga que dar paso a "para y piensa".