TheoPhysEval : GPT-6-Astra résout 49 problèmes sur 50

Un nouveau benchmark place les agents d'IA commerciaux au niveau des meilleurs spécialistes de physique théorique, du moins pour un type de travail : les calculs détaillés qui occupent une bonne partie de la semaine d'un chercheur. GPT-6-Astra, d'OpenAI, a résolu presque tous les problèmes. Selon les auteurs, cela ne revient pas pour autant à faire de la physique.

Ce que mesure TheoPhysEval

TheoPhysEval a été conçu par 35 chercheurs issus notamment de l'International Centre for Theoretical Sciences (ICTS), de l'université Harvard, de la KU Leuven et de Google DeepMind. Il comprend 50 problèmes de recherche inédits, aux réponses vérifiables, répartis sur onze sous-domaines. Ceux-ci vont des écoulements de fluides et des processus biologiques à la physique des particules et à la cosmologie.

Il ne s'agit pas de grandes questions ouvertes. Les auteurs parlent de tâches "turn-the-crank", où il suffit de "tourner la manivelle" : un chercheur applique des méthodes connues à une question légèrement modifiée. Les contributeurs ont souvent repris un calcul tiré de l'un de leurs articles récents et changé quelques valeurs, pour que l'ancien résultat ne puisse pas simplement être réutilisé. Un expert de premier plan du sous-domaine concerné mettrait en général une journée ou moins pour en résoudre un sans IA. Des chercheurs de domaines voisins auraient besoin de beaucoup plus de temps. Ce genre de tâche est souvent confié aux doctorants comme première étape dans la recherche.

"Routinier" ne veut pas dire facile. Un problème sur les trous noirs exige de retrouver un article ancien, de transposer ses équations d'un espace-temps à cinq dimensions vers un espace-temps à quatre dimensions, puis de faire tourner un programme sur mesure pour obtenir le résultat. Le coordinateur Suvrat Raju, coauteur de l'article d'origine, y a passé environ une journée. Avant l'arrivée des agents modernes, estiment les auteurs, seule une poignée d'experts possédaient à la fois le bagage en physique et l'expérience du calcul numérique nécessaires pour s'y attaquer. Même eux auraient eu besoin de plusieurs jours.

Les résultats

Les agents n'ont reçu aucune aide humaine. Chacun a été testé deux fois : une fois avec recherche web, une fois entièrement hors ligne.

1. GPT-6-Astra (dans l'environnement Codex d'OpenAI) : 49 bonnes réponses sur 50, soit 98 %. Le coût moyen est resté sous les 3 dollars par problème, et juste sous les 116 dollars pour l'ensemble.
2. Opus 5.5 (Anthropic, dans Claude Code) : 92 %.
3. Gemini 3.8 Flash (Google) : 68 %.
4. DeepSeek-V4.1-Flash et GLM 5.3 (modèles à poids ouverts) : 54 et 42 %.

Certains échecs relevaient de l'erreur élémentaire. Sur le problème des trous noirs, Gemini et GLM ont recopié tels quels les formules à cinq dimensions de l'article ancien, ce qu'un expert aurait repéré immédiatement.

Le passage hors ligne a moins pesé que prévu. Sans internet, Astra et Opus ont tous deux obtenu 92 %, alors que de nombreux problèmes reposent sur des formules issues d'articles qui n'avaient pas été fournis aux modèles. Les auteurs y voient le signe que les modèles de pointe ont, de fait, mémorisé une large part de la littérature en physique théorique.

Le seul problème qu'aucun modèle n'a résolu demandait une équation produisant une courbe donnée. La réponse de l'expert s'appuie sur des formes mathématiques particulières qui ne constituent l'équation différentielle demandée qu'au sens large. Les auteurs reconnaissent que cela peut sembler "injuste", mais jugent l'exercice réaliste, puisque les chercheurs doivent souvent deviner la physique qui se cache derrière des données imprécises.

Quand le corrigé était faux

Pour plusieurs problèmes, les échanges avec les experts ont mis au jour de petites erreurs dans leurs propres solutions de référence. Une fois celles-ci corrigées, les réponses d'Astra se sont révélées justes à chaque fois. Cela pourrait expliquer pourquoi les agents s'en sortent mieux ici que sur des benchmarks comme CritPt, alors même que les auteurs estiment leurs problèmes plus difficiles. Une étude récente a montré que certains benchmarks de physique sont mal notés et peuvent largement sous-estimer les modèles. Le jeu de données et le dispositif de test sont disponibles sur Hugging Face.

Il manque le "goût"

Les auteurs qualifient ces résultats d'étape majeure et affirment que certains modèles actuels pourraient déjà surpasser les meilleurs chercheurs humains sur les calculs concrets. Les mathématiques sont allées plus loin : selon OpenAI, des agents y ont résolu d'importants problèmes ouverts, dont le problème du millénaire de Navier-Stokes. Cela s'ajoute à des initiatives comme la publication de centaines de démonstrations générées par IA. La physique n'a connu aucune percée comparable.

L'explication des auteurs : le calcul arrive à la fin de la recherche. Avant cela, il faut construire une théorie, lui poser les bonnes questions et se rabattre sur un problème plus simple mais tout aussi intéressant quand on est bloqué. Les agents sont faibles sur ce terrain. Il leur manque aussi, semble-t-il, ce sens partagé, même s'il est discuté, de ce qui fait qu'un problème vaut la peine d'être résolu. Quand on leur demande de concevoir de nouveaux problèmes, ils se perdent dans des détails que les humains trouvent ennuyeux. Les auteurs soulignent que ces points ne sont pas mesurables et ne constituent pas une prévision.

Vue d'ensemble

Ces résultats laissent penser que le goulot d'étranglement de la science assistée par IA se déplace du calcul vers le jugement. Le schéma rappelle d'autres cas récents, comme la carte UV du ciel de Claude Science, où les agents prennent en charge une grande partie de l'exécution tandis que les humains continuent de formuler les questions.

Les auteurs soulèvent deux inquiétudes concrètes. D'abord, ce type de problème ne convient plus vraiment comme premier projet pour les jeunes chercheurs. Ensuite, la physique théorique a longtemps coûté peu par rapport à la physique expérimentale, ce qui a maintenu le domaine relativement ouvert. Si les problèmes plus difficiles exigent beaucoup plus de puissance de calcul, les budgets pourraient commencer à décider qui peut rester dans la course. Les mathématiques en débattent déjà, par exemple autour de la Leiden Declaration.

Reste à voir si la physique lancera un débat similaire, et si les futurs benchmarks chercheront à évaluer le choix des problèmes plutôt que le seul calcul. Les auteurs concluent en suggérant que la vieille devise du domaine, "tais-toi et calcule", pourrait devoir céder la place à "arrête-toi et réfléchis".