Nemotron 3.5 Super VL : un modèle ouvert Nvidia pour agents

Nvidia a lancé Nemotron 3.5 Super VL, un modèle multimodal ouvert de 120 milliards de paramètres. Il est conçu pour des agents d'entreprise qui tournent en arrière-plan sans interruption et traitent du texte, des images, des documents et de la vidéo. Deux modèles plus petits, baptisés "Bolt" et destinés aux PC locaux et aux appareils en périphérie, sortent en même temps.

Cette sortie vient grossir les rangs des modèles à poids ouverts proposés par les grands groupes technologiques. La version de Nvidia s'accompagne de plus de ressources que la plupart.

Architecture et performances annoncées

Super VL repose sur une architecture Mixture-of-Experts. Seuls 12 de ses 120 milliards de paramètres sont actifs pour chaque token. Nvidia a développé le modèle avec la Nemotron Coalition, un groupe qui réunit notamment Mistral AI, Thinking Machines Lab, Perplexity et Black Forest Labs.

Le modèle a été distillé à partir de Nemotron 3 Ultra, le plus grand modèle de raisonnement de Nvidia. Les principales promesses de Nvidia :

• Le niveau d'Ultra pour une fraction de la taille. Sur le suivi d'instructions, les appels d'outils, les processus métier en plusieurs étapes et l'analyse d'images, Super VL atteindrait la précision d'Ultra avec environ un cinquième des paramètres. Dans les tests d'agents de Hermes et LangChain, il ferait même mieux qu'Ultra, selon Nvidia.
• Un meilleur code. Il devance son prédécesseur, Nemotron 3 Super, sur SWE-bench et Terminal-Bench.
• Le débit. En s'appuyant sur le classement d'Artificial Analysis, Nvidia annonce un débit jusqu'à cinq fois supérieur à celui des modèles ouverts de taille comparable sur des tâches d'agents, avec un seul GPU. Lors d'un test indépendant d'EXO Labs sur le DGX Spark, aucun autre modèle n'était à la fois plus rapide et plus précis.

Super VL gère aussi l'OCR, les tableaux, les graphiques, les documents de plusieurs pages et la vidéo sans modèle de vision distinct. Il obtient 80,8 % sur le benchmark de graphiques CharXiv, contre 63 % pour l'ancien Nemotron 3 Nano Omni. Ce score grimpe à 84 % lorsque le modèle peut exécuter du code Python.

Comment Nvidia réduit la facture de calcul

Nvidia compresse le modèle avec son format 4 bits NVFP4. Les GPU Blackwell exécutent le modèle entièrement en précision 4 bits. Les cartes plus anciennes ne stockent que les poids sur 4 bits et effectuent les calculs sur 16 bits, tandis que les parties sensibles du modèle conservent une précision plus élevée. Un composant de brouillon intégré propose des tokens à l'avance, que le modèle principal vérifie ensuite. Sur le DGX Spark, Nvidia recommande plutôt sa méthode LiLiCorr et annonce une génération de texte jusqu'à 2,3 fois plus rapide.

Les agents renvoient les mêmes instructions, descriptions d'outils et historiques à chaque requête : Super VL met donc ce travail répété en cache. Le logiciel d'inférence Dynamo de Nvidia oriente chaque session vers le GPU qui détient déjà son cache. Sur 16 GPU B200, Nvidia affirme que cela permet de servir huit fois plus d'utilisateurs simultanés et réduit de 85 % le délai avant le premier token.

Bolt : des agents locaux, mais pas bon marché

Bolt 74B-A9B 24GB est une version allégée de Super VL, avec 9 de ses 74 milliards de paramètres actifs à chaque étape. Une quantification agressive en 2 bits lui permet de tenir dans 24 Go de mémoire. Il sait écrire et déboguer du code, chercher sur le web ou déterminer quels composants conviennent à une configuration PC. Il prend en charge llama.cpp, Ollama, LM Studio et vLLM. Reste que 24 Go supposent du matériel haut de gamme coûteux : pour l'instant, le public visé, ce sont les développeurs et les propriétaires de stations de travail. Un Bolt E4B de 4 Go, destiné aux assistants vocaux et aux interfaces d'appareils, est attendu plus tard ce mois-ci.

Premiers utilisateurs et ressources ouvertes

Selon Nvidia, des dizaines d'organisations affinent déjà Super VL, surtout dans des secteurs gros consommateurs de documents et soumis à des données sensibles. Ramp transforme des photos de reçus en données structurées. EY utilise le modèle pour l'audit préalable des acquisitions. CrowdStrike développe des agents chargés de défendre les réseaux d'entreprise.

Les poids sont fournis en versions de base, post-entraînée et 4 bits, accompagnés de jeux de données, de recettes d'entraînement et d'environnements d'apprentissage par renforcement. L'un des jeux de données, constitué avec l'Indian Institute of Technology Madras et son laboratoire AI4Bharat, compte environ 2,83 billions de tokens dans 22 langues indiennes.

Notre analyse

Pour les entreprises qui veulent des agents sur leurs propres serveurs, adaptés à leurs propres données et affranchis des conditions d'utilisation d'un fournisseur, Super VL ressemble à une option sérieuse. Les jeux de données et recettes ouverts vont plus loin que la plupart des publications limitées aux poids. Associés à des outils comme les plateformes de post-entraînement, ils abaissent la barrière à la personnalisation.

Le calcul reste toutefois limpide. Chaque variante est optimisée pour le matériel Nvidia, et plus il y a de modèles auto-hébergés, plus la demande pour ses puces augmente. Meta, Google, Anthropic et OpenAI développent leurs propres puces : les modèles ouverts semblent donc devenir l'assurance de Nvidia. Il faudra voir si des benchmarks indépendants confirment les chiffres de Nvidia, et si des concurrents comme Reflection Beam peuvent rivaliser sur le terrain de l'ouverture.