TheoPhysEval: GPT-6-Astra löst 49 von 50 Physikaufgaben

Ein neuer Benchmark stellt kommerzielle KI-Agenten auf eine Stufe mit Spitzenkräften der theoretischen Physik, zumindest bei einer bestimmten Art von Arbeit: den detaillierten Rechnungen, die einen Großteil der Woche eines Forschers ausfüllen. OpenAIs GPT-6-Astra hat fast jede Aufgabe richtig gelöst. Die Autoren betonen jedoch, dass das noch längst nicht heißt, Physik zu betreiben.

Was TheoPhysEval misst

TheoPhysEval wurde von 35 Forschenden entwickelt, unter anderem vom International Centre for Theoretical Sciences (ICTS), der Harvard University, der KU Leuven und Google DeepMind. Der Benchmark umfasst 50 unveröffentlichte Forschungsaufgaben mit überprüfbaren Lösungen aus elf Teilgebieten. Diese reichen von Strömungen und biologischen Prozessen bis zur Teilchenphysik und Kosmologie.

Es geht dabei nicht um die großen offenen Fragen. Die Autoren sprechen von "turn-the-crank"-Aufgaben, also Fleißarbeit nach Schema, bei der man bekannte Methoden auf eine leicht abgewandelte Fragestellung anwendet. Oft nahmen die Beitragenden eine Rechnung aus einem ihrer eigenen jüngeren Paper und änderten einige Werte, damit sich das alte Ergebnis nicht einfach übernehmen ließ. Ein führender Experte im jeweiligen Teilgebiet bräuchte ohne KI in der Regel höchstens einen Tag für eine Aufgabe. Forschende aus Nachbarfeldern bräuchten deutlich länger. Solche Aufgaben bekommen Doktoranden häufig als ersten Einstieg in die Forschung.

"Routine" heißt aber nicht leicht. Eine Aufgabe zu Schwarzen Löchern verlangt, ein älteres Paper aufzuspüren, dessen Gleichungen von der fünfdimensionalen auf die vierdimensionale Raumzeit zu übertragen und ein eigenes Programm zu schreiben, um das Ergebnis zu berechnen. Koordinator Suvrat Raju, Mitautor des ursprünglichen Papers, brauchte dafür etwa einen Tag. Bevor es moderne Agenten gab, so schätzen die Autoren, hatten nur eine Handvoll Fachleute sowohl das physikalische Hintergrundwissen als auch die Programmiererfahrung, um sich daran zu wagen. Selbst sie hätten mehrere Tage gebraucht.

Die Ergebnisse

Die Agenten bekamen keinerlei Hinweise von Menschen. Jeder durchlief den Test zweimal: einmal mit Websuche und einmal komplett offline.

1. GPT-6-Astra (in OpenAIs Codex-Umgebung): 49 von 50 richtig, also 98 Prozent. Die Kosten lagen im Schnitt unter 3 Dollar pro Aufgabe und bei knapp 116 Dollar für den gesamten Satz.
2. Opus 5.5 (Anthropic, in Claude Code): 92 Prozent.
3. Gemini 3.8 Flash (Google): 68 Prozent.
4. DeepSeek-V4.1-Flash und GLM 5.3 (Open-Weight): 54 und 42 Prozent.

Manche Fehler waren grundlegend. Bei der Aufgabe zu Schwarzen Löchern übernahmen Gemini und GLM die fünfdimensionalen Formeln aus dem älteren Paper unverändert, was einem Experten sofort aufgefallen wäre.

Der Offline-Modus machte weniger aus als erwartet. Ohne Internet kamen Astra und Opus jeweils auf 92 Prozent, obwohl viele Aufgaben auf Formeln aus Papern beruhen, die den Modellen nicht vorlagen. Die Autoren werten das als Zeichen dafür, dass führende Modelle große Teile der Literatur zur theoretischen Physik praktisch auswendig kennen.

Die einzige Aufgabe, die kein Modell löste, verlangte nach einer Gleichung, die eine vorgegebene Kurve erzeugt. Die Lösung der Experten stützt sich auf spezielle mathematische Formen, die nur im weiteren Sinne als die geforderte Differentialgleichung gelten. Die Autoren räumen ein, dass das "unfair" wirken mag, halten es aber für realistisch, weil Forschende oft aus ungenauen Daten auf die zugrunde liegende Physik schließen müssen.

Wenn der Lösungsschlüssel falsch ist

Bei mehreren Aufgaben förderten Rückfragen bei den Experten kleine Fehler in deren eigenen Referenzlösungen zutage. Nach der Korrektur stimmten Astras Antworten jedes Mal. Das könnte erklären, warum Agenten hier besser abschneiden als bei Benchmarks wie CritPt, obwohl die Autoren ihre eigenen Aufgaben für schwieriger halten. Eine aktuelle Studie kam zu dem Ergebnis, dass manche Physik-Benchmarks falsch bewertet werden und die Modelle teils deutlich unterschätzen. Datensatz und Testaufbau sind auf Hugging Face verfügbar.

Fehlender "Geschmack"

Die Autoren sprechen von einem wichtigen Meilenstein und sagen, einige aktuelle Modelle könnten die besten menschlichen Forschenden bei konkreten Rechnungen bereits übertreffen. Die Mathematik ist schon weiter: Laut OpenAI haben Agenten dort wichtige offene Probleme gelöst, darunter das Millennium-Problem zu den Navier-Stokes-Gleichungen. Hinzu kommen Vorstöße wie die Veröffentlichung Hunderter KI-generierter Beweise. In der Physik gab es bislang keinen vergleichbaren Durchbruch.

Die Erklärung der Autoren: Das Rechnen steht am Ende der Forschung. Davor muss jemand eine Theorie aufstellen, ihr die richtigen Fragen stellen und auf ein einfacheres, aber ebenso interessantes Problem ausweichen, wenn es nicht weitergeht. Genau darin sind Agenten schwach. Ihnen scheint auch das gemeinsame, wenn auch umstrittene Gespür dafür zu fehlen, was ein Problem lösenswert macht. Sollen sie selbst neue Aufgaben entwerfen, verlieren sie sich in Details, die Menschen langweilig finden. Die Autoren betonen, dass sich diese Punkte nicht messen lassen und keine Prognose darstellen.

Das große Ganze

Das deutet darauf hin, dass sich der Engpass bei KI-gestützter Wissenschaft vom Rechnen hin zur Urteilskraft verschiebt. Das Muster ähnelt anderen jüngsten Fällen wie der UV-Himmelskarte von Claude Science, bei denen Agenten viel von der Ausführung übernehmen, während Menschen weiterhin die Fragen stellen.

Die Autoren nennen zwei praktische Bedenken. Erstens taugen solche Aufgaben kaum noch als erste Projekte für Nachwuchsforschende. Zweitens war theoretische Physik im Vergleich zur experimentellen Arbeit lange günstig, was das Feld vergleichsweise offen hielt. Wenn schwierigere Probleme deutlich mehr Rechenleistung erfordern, könnte künftig das Budget darüber entscheiden, wer mithalten kann. In der Mathematik wird darüber bereits diskutiert, etwa rund um die Leiden Declaration.

Es lohnt sich zu beobachten, ob die Physik eine ähnliche Debatte anstößt und ob künftige Benchmarks versuchen, die Auswahl von Problemen zu testen statt nur das Rechnen. Die Autoren schließen mit dem Gedanken, dass das alte Motto des Fachs, "shut up and calculate" (Klappe halten und rechnen), womöglich "stop and think" (innehalten und nachdenken) weichen muss.