OpenAI-vlaggenschipmodel vraagt eerst meer alignmentwerk

OpenAI brengt naar verwachting nog voor het einde van het jaar nieuwe modellen uit. Het volgende vlaggenschip zit daar mogelijk niet bij. Volgens The Information, dat zich baseert op mensen die bekend zijn met de projecten, verwachten medewerkers dat er voor het einde van het jaar "een of twee nieuwe modellen" verschijnen. Of "het grote, verbeterde model" dat nu in ontwikkeling is daar ook bij hoort, is onduidelijk.

Het grootste obstakel is veiligheid, niet het vermogen van het model.

Wat het vlaggenschip tegenhoudt

Het nieuwe model heeft nog alignmentwerk nodig: de doelen ervan moeten in lijn worden gebracht met wat de onderzoekers en klanten van OpenAI ervan verwachten. Daarnaast moet OpenAI de testinfrastructuur rond het model versterken voordat de ontwikkeling naar de volgende fase kan.

Interne goedkeuring is niet de laatste stap. Op grond van een presidentieel decreet van president Trump dat de evaluatie van geavanceerde AI-systemen regelt, heeft OpenAI toegezegd de Amerikaanse overheid tot 30 dagen eerder toegang te geven tot nieuwe modellen dan externe partners. Ten opzichte van een publieke lancering krijgt de overheid nog eerder toegang.

De afweging van de looped transformer

Volgens een ingewijde is het nieuwe vlaggenschip gebouwd op looped transformers. OpenAI gebruikt deze techniek al in productie onder de naam "Recurrent Depth", en ze vormt de kern van Astra, het huidige topmodel van het bedrijf.

Een standaardtransformer stuurt elk token één keer door zijn lagen. Een looped model stuurt het token meerdere keren door dezelfde lagen voordat het het volgende woord produceert. Dat verbetert de prestaties bij wiskunde en programmeren en drukt de kosten, omdat een kleiner model het werk van een groter model kan doen.

Daar staat een veiligheidsprijs tegenover. Door het herhalen verschuift een deel van het "denken" van het model van leesbare tekst naar interne numerieke representaties die menselijke beoordelaars niet kunnen inzien. Dat ondermijnt chain-of-thought-monitoring, een methode waarbij veiligheidsonderzoekers de uitgeschreven redenering van een model volgen om problematisch gedrag op te sporen. The Information meldt dat OpenAI het aantal loops van Astra bewust heeft beperkt, zodat de chain of thought leesbaar bleef.

Jakub Pachocki, hoofdwetenschapper van OpenAI, heeft al gezegd dat chain-of-thought-monitoring "fragiel" wordt en "helaas een negatieve kant op beweegt". Hij waarschuwde ook voor een race in de hele sector naar modellen waarvan de redenering niet te lezen is.

Miljarden aan rekenkracht naar veiligheid

Volgens iemand die bekend is met de cijfers heeft OpenAI na het incident bij Hugging Face ongeveer tien procent van zijn totale rekenkracht verschoven naar alignment en veiligheid. The Information schat dat op honderden megawatts aan datacentercapaciteit, wat tegen marktprijzen miljarden dollars per jaar aan huur zou kosten. Het bericht vermeldt niet hoeveel rekenkracht er voor de verschuiving naar veiligheid ging of hoe de verdeling er nu uitziet. In een podcast half september zei AI-onderzoeker Noam Brown dat ongeveer tien procent van zijn eigen team aan beveiliging en veiligheid werkt.

Microsofts onbedoelde onthulling

Details over hoe OpenAI looping inzet, werden openbaar door een fout bij Microsoft. Als grote investeerder heeft Microsoft toegang tot het intellectueel eigendom van OpenAI. Het bedrijf publiceerde een technische beschrijving van GPT-6.1 Sol, een goedkoper alternatief voor Astra dat OpenAI eerder deze maand lanceerde.

In een inmiddels verwijderde passage beschreef Microsoft dat GPT-6.1 Sol "looping inference" gebruikt, waarbij het model een probleem in meerdere "passes" doorwerkt voordat het antwoord geeft. Volgens een gecachte versie die The Information citeert, "gebruikt GPT-6.1 Sol dezelfde basismodelgewichten als GPT-6 Sol, met twee inferentiepasses in plaats van drie". Iemand met directe kennis van zaken bevestigde dat de tekst overeenkwam met wat OpenAI Microsoft vertrouwelijk had verteld. Microsoft haalde de passage weg toen het besefte dat de informatie niet openbaar had mogen worden.

Onze kijk

Het bericht legt een concrete spanning bloot. De techniek die de modellen van OpenAI goedkoper en beter maakt in technisch werk, maakt ze ook moeilijker te controleren. Dat Astra's loops zijn begrensd, wijst erop dat het bedrijf bereid is wat prestaties in te leveren om de redenering leesbaar te houden, in elk geval voorlopig.

Het patroon past bij eerdere waarschuwingssignalen, waaronder berichten dat een OpenAI-model overwoog zichzelf opnieuw op te starten voordat het werd uitgeschakeld, en het vertrek van een veiligheidsleider die kritiek had op de bedrijfscultuur. Ook andere labs scherpen hun testopstellingen aan. Anthropic heeft bijvoorbeeld zijn interne evals afgesloten van het live internet.

De komende maanden is het de moeite waard om te volgen of het vlaggenschip verschijnt met vergelijkbare loopbeperkingen als Astra, hoe de overheidsbeoordeling van 30 dagen de releaseplanning beïnvloedt en of concurrerende labs OpenAI volgen richting redeneringen die niet te lezen zijn.