TheoPhysEval: GPT-6-Astra lost 49 van 50 fysicaproblemen op

Een nieuwe benchmark zet commerciële AI-agents op hetzelfde niveau als topspecialisten in de theoretische natuurkunde, in elk geval voor één soort werk: de gedetailleerde berekeningen waar een onderzoeker een groot deel van zijn week mee vult. GPT-6-Astra van OpenAI had bijna elk probleem goed. Volgens de auteurs staat dat nog altijd niet gelijk aan natuurkunde bedrijven.

Wat TheoPhysEval meet

TheoPhysEval is ontwikkeld door 35 onderzoekers van onder meer het International Centre for Theoretical Sciences (ICTS), Harvard University, KU Leuven en Google DeepMind. De benchmark bevat 50 ongepubliceerde onderzoeksproblemen met controleerbare antwoorden, verdeeld over elf deelgebieden. Die lopen uiteen van vloeistofstromingen en biologische processen tot deeltjesfysica en kosmologie.

Het gaat niet om grote open vragen. De auteurs spreken van "turn-the-crank"-taken, waarbij een onderzoeker bekende methoden toepast op een licht gewijzigde vraag. Bijdragers namen vaak een berekening uit een van hun eigen recente artikelen en pasten een paar waarden aan, zodat het oude resultaat niet zomaar kon worden hergebruikt. Een vooraanstaand expert in het betreffende deelgebied zou er zonder AI doorgaans een dag of minder over doen. Onderzoekers uit aangrenzende vakgebieden zouden veel langer nodig hebben. Zulke taken krijgen promovendi vaak als eerste stap in het onderzoek.

"Routine" betekent niet makkelijk. Voor één probleem over zwarte gaten moet je een ouder artikel opsporen, de vergelijkingen daaruit van een vijfdimensionale naar een vierdimensionale ruimtetijd overzetten en een zelfgeschreven programma draaien om tot het resultaat te komen. Coördinator Suvrat Raju, medeauteur van het oorspronkelijke artikel, had er ongeveer een dag voor nodig. Vóór het bestaan van moderne agents hadden volgens de schatting van de auteurs maar een handvol experts zowel de natuurkundige achtergrond als de computationele ervaring om er een poging aan te wagen. Zelfs zij zouden er meerdere dagen over hebben gedaan.

De resultaten

De agents kregen geen hints van mensen. Elk model draaide twee keer: een keer met zoekfunctie op het web en een keer volledig offline.

1. GPT-6-Astra (in de Codex-omgeving van OpenAI): 49 van de 50 goed, oftewel 98 procent. De gemiddelde kosten lagen onder de $3 per probleem en net onder de $116 voor de hele set.
2. Opus 5.5 (Anthropic, in Claude Code): 92 procent.
3. Gemini 3.8 Flash (Google): 68 procent.
4. DeepSeek-V4.1-Flash en GLM 5.3 (open-weight): 54 en 42 procent.

Sommige fouten waren elementair. Bij de taak over zwarte gaten namen Gemini en GLM de vijfdimensionale formules uit het oudere artikel ongewijzigd over, iets wat een expert meteen zou zijn opgevallen.

Offline gaan maakte minder uit dan verwacht. Zonder internet scoorden Astra en Opus allebei 92 procent, terwijl veel problemen afhangen van formules uit artikelen die de modellen niet kregen. De auteurs zien dat als teken dat toonaangevende modellen een groot deel van de literatuur over theoretische natuurkunde in feite uit het hoofd kennen.

Het enige probleem dat geen enkel model oploste, vroeg om een vergelijking die een gegeven kromme oplevert. Het antwoord van de expert leunt op bijzondere wiskundige vormen die alleen in ruimere zin als de gevraagde differentiaalvergelijking gelden. De auteurs geven toe dat het "oneerlijk" kan lijken, maar vinden het realistisch, omdat onderzoekers vaak de natuurkunde achter onnauwkeurige data moeten afleiden.

Toen de antwoordsleutel niet klopte

Bij meerdere problemen kwamen bij navraag bij de experts kleine fouten in hun eigen referentieoplossingen aan het licht. Na correctie bleken de antwoorden van Astra steeds juist. Dat zou kunnen verklaren waarom agents hier beter presteren dan op benchmarks als CritPt, terwijl de auteurs hun eigen problemen moeilijker vinden. Uit recent onderzoek bleek dat sommige natuurkundebenchmarks verkeerd worden beoordeeld en de modellen flink kunnen onderschatten. De dataset en de testopzet staan op Hugging Face.

Gebrek aan "smaak"

De auteurs noemen de resultaten een belangrijke mijlpaal en zeggen dat sommige huidige modellen de beste menselijke onderzoekers bij concrete berekeningen misschien al overtreffen. In de wiskunde is men verder: volgens OpenAI hebben agents daar belangrijke open problemen opgelost, waaronder het Navier-Stokes-millenniumprobleem. Dat gaat samen met initiatieven zoals het publiceren van honderden door AI gegenereerde bewijzen. In de natuurkunde is er nog geen vergelijkbare doorbraak geweest.

De verklaring van de auteurs: rekenen komt aan het eind van het onderzoek. Daarvoor moet iemand een theorie opbouwen, er de juiste vragen aan stellen en overstappen op een eenvoudiger maar even interessant probleem als hij vastloopt. Daar zijn agents zwak in. Ook lijken ze het gedeelde, zij het omstreden, gevoel te missen voor wat een probleem de moeite waard maakt. Als ze zelf nieuwe problemen moeten bedenken, verliezen ze zich in details die mensen saai vinden. De auteurs benadrukken dat deze punten niet meetbaar zijn en geen voorspelling vormen.

Het grotere plaatje

Dit wijst erop dat het knelpunt in door AI ondersteunde wetenschap verschuift van rekenen naar oordeelsvermogen. Het patroon lijkt op dat van andere recente gevallen, zoals de uv-hemelkaart van Claude Science, waarbij agents veel van de uitvoering voor hun rekening nemen terwijl mensen nog steeds de vragen formuleren.

De auteurs noemen twee praktische zorgen. Ten eerste werken problemen als deze niet meer goed als eerste project voor beginnende onderzoekers. Ten tweede is theoretische natuurkunde lang goedkoop geweest vergeleken met experimenteel werk, waardoor het vakgebied relatief toegankelijk bleef. Als moeilijkere problemen veel meer rekenkracht vergen, kunnen budgetten gaan bepalen wie kan meedoen. In de wiskunde wordt daar al over gedebatteerd, bijvoorbeeld rond de Leiden Declaration.

Het is de moeite waard om te volgen of de natuurkunde een vergelijkbaar debat begint, en of toekomstige benchmarks ook de keuze van problemen proberen te toetsen in plaats van alleen het rekenwerk. De auteurs sluiten af met de suggestie dat het oude motto van het vakgebied, "shut up and calculate", misschien plaats moet maken voor "stop and think".