OpenAI-Spitzenmodell braucht noch mehr Alignment-Arbeit

OpenAI soll noch vor Jahresende neue Modelle veröffentlichen. Das nächste Spitzenmodell ist aber möglicherweise nicht dabei. Laut The Information, das sich auf mit den Projekten vertraute Personen beruft, rechnen Mitarbeiter mit "ein oder zwei neuen Modellen" bis Jahresende. Ob "das große, verbesserte Modell", das derzeit entwickelt wird, dazugehört, ist unklar.

Das Haupthindernis ist die Sicherheit, nicht die Leistungsfähigkeit.

Was das Spitzenmodell aufhält

Das neue Modell braucht noch Alignment-Arbeit. Seine Ziele müssen also mit dem in Einklang gebracht werden, was die Forscher und Kunden von OpenAI von ihm erwarten. Außerdem muss OpenAI die Testinfrastruktur rund um das Modell ausbauen, bevor die Entwicklung in die nächste Phase gehen kann.

Die interne Freigabe ist nicht der letzte Schritt. Im Rahmen eines Dekrets von Präsident Trump, das die Prüfung fortgeschrittener KI-Systeme regelt, hat OpenAI zugesagt, der US-Regierung bis zu 30 Tage vor externen Partnern Zugang zu neuen Modellen zu gewähren. Gemessen an einem öffentlichen Start bekommt die Regierung den Zugang sogar noch früher.

Der Zielkonflikt bei Looped Transformers

Nach Angaben einer mit der Sache vertrauten Person basiert das neue Spitzenmodell auf sogenannten Looped Transformers. OpenAI setzt diese Technik unter dem Namen "Recurrent Depth" bereits im Produktivbetrieb ein, und sie ist zentral für Astra, das aktuelle Topmodell des Unternehmens.

Ein herkömmlicher Transformer schickt jedes Token einmal durch seine Schichten. Ein Looped-Modell schickt das Token mehrfach durch dieselben Schichten, bevor es das nächste Wort erzeugt. Das verbessert die Leistung bei Mathematik und Programmierung und senkt die Kosten, weil ein kleineres Modell die Arbeit eines größeren erledigen kann.

Das hat einen Preis bei der Sicherheit. Durch die Schleifen verlagert sich ein Teil des "Denkens" des Modells aus lesbarem Text in interne numerische Repräsentationen, die menschliche Prüfer nicht einsehen können. Das schwächt die Chain-of-Thought-Überwachung, eine Methode, bei der Sicherheitsforscher die schriftlich festgehaltenen Gedankengänge eines Modells verfolgen, um problematisches Verhalten zu erkennen. Laut The Information hat OpenAI die Zahl der Schleifen bei Astra bewusst begrenzt, damit dessen Gedankenkette lesbar bleibt.

OpenAIs Chefwissenschaftler Jakub Pachocki hat bereits gesagt, dass die Chain-of-Thought-Überwachung "fragil" werde und sich "leider in eine negative Richtung entwickelt". Zudem hat er vor einem branchenweiten Wettlauf hin zu Modellen gewarnt, deren Gedankengänge sich nicht mehr lesen lassen.

Milliarden an Rechenleistung für die Sicherheit

Eine mit den Zahlen vertraute Person sagt, OpenAI habe nach dem Vorfall bei Hugging Face rund zehn Prozent seiner gesamten Rechenkapazität auf Alignment und Sicherheit umgeschichtet. The Information beziffert das auf Hunderte Megawatt an Rechenzentrumskapazität, deren Miete zu Marktpreisen Milliarden Dollar pro Jahr kosten würde. Wie viel Rechenleistung vor der Umschichtung in die Sicherheit floss oder wie die Aufteilung heute aussieht, geht aus dem Bericht nicht hervor. In einem Podcast Mitte September sagte KI-Forscher Noam Brown, dass etwa zehn Prozent seines eigenen Teams an Security und Sicherheit arbeiten.

Microsofts versehentliche Enthüllung

Details darüber, wie OpenAI die Schleifen einsetzt, wurden durch einen Fehler bei Microsoft öffentlich. Als großer Investor hat Microsoft Zugriff auf das geistige Eigentum von OpenAI. Der Konzern veröffentlichte eine technische Beschreibung von GPT-6.1 Sol, einer günstigeren Alternative zu Astra, die OpenAI Anfang des Monats auf den Markt gebracht hat.

In einem inzwischen gelöschten Abschnitt beschrieb Microsoft, dass GPT-6.1 Sol "Looping Inference" nutzt, bei der das Modell ein Problem in mehreren "Durchläufen" bearbeitet, bevor es antwortet. Laut einer zwischengespeicherten Version, die The Information zitiert, "verwendet GPT-6.1 Sol dieselben Basisgewichte wie GPT-6 Sol, mit zwei Inferenzdurchläufen statt drei". Eine Person mit direkter Kenntnis bestätigte, dass der Text dem entsprach, was OpenAI Microsoft vertraulich mitgeteilt hatte. Microsoft entfernte den Abschnitt, als dem Konzern klar wurde, dass die Informationen nicht für die Öffentlichkeit bestimmt waren.

Unsere Einschätzung

Der Bericht zeigt einen konkreten Zielkonflikt. Die Technik, die OpenAIs Modelle günstiger und besser bei technischen Aufgaben macht, macht sie zugleich schwerer zu überwachen. Dass Astras Schleifen begrenzt wurden, deutet darauf hin, dass das Unternehmen bereit ist, etwas Leistung zu opfern, damit die Gedankengänge lesbar bleiben, zumindest vorerst.

Das Muster passt zu früheren Warnsignalen, darunter Berichte, wonach ein OpenAI-Modell vor dem Abschalten einen Neustart erwog, und der Abgang einer Sicherheitsverantwortlichen, die die Unternehmenskultur kritisierte. Auch andere Labore verschärfen ihre Testumgebungen. Anthropic hat zum Beispiel seine internen Evaluierungen vom offenen Internet abgekoppelt.

In den kommenden Monaten lohnt sich der Blick darauf, ob das Spitzenmodell mit ähnlichen Schleifengrenzen wie Astra erscheint, wie sich die 30-tägige Prüfung durch die Regierung auf den Veröffentlichungszeitpunkt auswirkt und ob konkurrierende Labore OpenAI in Richtung nicht lesbarer Gedankengänge folgen.