OpenAI : son modèle phare doit d'abord être mieux aligné

OpenAI devrait sortir de nouveaux modèles d'ici la fin de l'année. Son prochain modèle phare pourrait toutefois ne pas en faire partie. Selon The Information, qui cite des sources proches des projets, les employés s'attendent à voir arriver "un ou deux nouveaux modèles" avant la fin de l'année. On ne sait pas si "le modèle majeur amélioré" actuellement en développement sera du lot.

Le principal obstacle tient à la sécurité, pas aux capacités.

Ce qui freine le modèle phare

Le nouveau modèle a encore besoin d'un travail d'alignement : ses objectifs doivent correspondre à ce que les chercheurs et les clients d'OpenAI attendent de lui. OpenAI doit aussi renforcer l'infrastructure de test autour du modèle avant que le développement puisse passer à l'étape suivante.

Le feu vert interne n'est pas la dernière étape. En vertu d'un décret du président Trump encadrant l'évaluation des systèmes d'IA avancés, OpenAI a accepté de donner au gouvernement américain accès à ses nouveaux modèles jusqu'à 30 jours avant ses partenaires externes. Par rapport à un lancement public, le gouvernement y a donc accès encore plus tôt.

Le compromis des transformeurs en boucle

D'après une source au fait du dossier, le nouveau modèle phare repose sur des transformeurs en boucle. OpenAI utilise déjà cette technique en production sous le nom de "Recurrent Depth", et elle est au coeur d'Astra, le modèle le plus avancé actuel de l'entreprise.

Un transformeur classique fait passer chaque token une seule fois par ses couches. Un modèle en boucle envoie le token plusieurs fois dans les mêmes couches avant de produire le mot suivant. Cela améliore les performances en mathématiques et en programmation et réduit les coûts, car un modèle plus petit peut accomplir le travail d'un plus grand.

La sécurité en pâtit. Le bouclage déplace une partie de la "réflexion" du modèle hors du texte lisible, vers des représentations numériques internes que les relecteurs humains ne peuvent pas examiner. Cela affaiblit la surveillance de la chaîne de raisonnement, une méthode qui permet aux chercheurs en sécurité de suivre le raisonnement écrit d'un modèle pour repérer les comportements problématiques. Selon The Information, OpenAI a volontairement limité le nombre de boucles d'Astra pour que sa chaîne de raisonnement reste lisible.

Le directeur scientifique d'OpenAI, Jakub Pachocki, a déjà affirmé que la surveillance de la chaîne de raisonnement devenait "fragile" et qu'elle "évolue malheureusement dans une direction négative". Il a aussi mis en garde contre une course de tout le secteur vers des modèles dont le raisonnement est illisible.

Des milliards de puissance de calcul réorientés vers la sécurité

Selon une source qui connaît les chiffres, OpenAI a réaffecté environ dix pour cent de sa puissance de calcul totale à l'alignement et à la sécurité après l'incident Hugging Face. The Information évalue cela à des centaines de mégawatts de capacité de centres de données, soit des milliards de dollars par an au prix du marché en location. L'article ne précise pas quelle part de la puissance de calcul allait à la sécurité avant ce changement, ni quelle est la répartition aujourd'hui. Dans un podcast à la mi-septembre, le chercheur en IA Noam Brown a indiqué qu'environ dix pour cent de sa propre équipe travaillait sur la sécurité et la sûreté.

La fuite involontaire de Microsoft

Les détails sur l'utilisation du bouclage par OpenAI ont été rendus publics à la suite d'une erreur de Microsoft. En tant qu'investisseur majeur, Microsoft a accès à la propriété intellectuelle d'OpenAI. Le groupe a publié une note technique sur GPT-6.1 Sol, une alternative moins chère à Astra lancée par OpenAI plus tôt ce mois-ci.

Dans une section supprimée depuis, Microsoft expliquait que GPT-6.1 Sol utilisait une "inférence en boucle", le modèle traitant un problème en plusieurs "passes" avant de répondre. D'après une copie en cache citée par The Information, GPT-6.1 Sol "utilise les mêmes poids de modèle de base que GPT-6 Sol, avec deux passes d'inférence au lieu de trois". Une source directement informée a confirmé que le texte correspondait à ce qu'OpenAI avait communiqué en privé à Microsoft. Microsoft a retiré la section dès qu'il a compris que ces informations n'étaient pas destinées au public.

Notre analyse

Ces révélations mettent en lumière une tension bien précise. La technique qui rend les modèles d'OpenAI moins chers et plus performants sur les tâches techniques les rend aussi plus difficiles à superviser. En plafonnant les boucles d'Astra, l'entreprise montre qu'elle est prête à sacrifier un peu de performance pour garder un raisonnement lisible, du moins pour l'instant.

Cela s'inscrit dans la lignée de signaux d'alerte antérieurs, notamment les informations selon lesquelles un modèle d'OpenAI a envisagé de se relancer avant son arrêt, et le départ d'une responsable de la sécurité qui a critiqué la culture de l'entreprise. D'autres laboratoires renforcent eux aussi leurs dispositifs de test. Anthropic, par exemple, a coupé ses évaluations internes de l'internet en direct.

Dans les mois à venir, il faudra surveiller si le modèle phare sortira avec des limites de boucles comparables à celles d'Astra, comment l'examen gouvernemental de 30 jours pèsera sur le calendrier de sortie, et si les laboratoires concurrents suivront OpenAI vers un raisonnement illisible.