Nemotron 3.5 Super VL: open model van Nvidia voor AI-agents

Nvidia heeft Nemotron 3.5 Super VL uitgebracht, een open multimodaal model met 120 miljard parameters. Het is bedoeld voor zakelijke agents die onafgebroken op de achtergrond draaien en daarbij tekst, afbeeldingen, documenten en video verwerken. Tegelijk verschijnen twee kleinere "Bolt"-modellen voor lokale pc's en edge-apparaten.

Met deze release groeit het aantal open-weight-modellen van grote techbedrijven verder. Nvidia levert er meer van het onderliggende materiaal bij dan de meeste anderen.

Architectuur en geclaimde prestaties

Super VL gebruikt een Mixture-of-Experts-ontwerp. Van de 120 miljard parameters zijn er per token slechts 12 miljard actief. Nvidia ontwikkelde het model samen met de Nemotron Coalition, een groep waartoe onder meer Mistral AI, Thinking Machines Lab, Perplexity en Black Forest Labs behoren.

Het model is gedistilleerd uit Nemotron 3 Ultra, het grootste redeneermodel van Nvidia. De belangrijkste claims van Nvidia:

• Gelijk aan Ultra bij een fractie van de omvang. Bij het opvolgen van instructies, tool-aanroepen, bedrijfsprocessen in meerdere stappen en beeldanalyse zou Super VL de nauwkeurigheid van Ultra halen met ongeveer een vijfde van de parameters. In agenttests van Hermes en LangChain scoort het volgens Nvidia zelfs hoger dan Ultra.
• Beter in programmeren. Het verslaat zijn voorganger, Nemotron 3 Super, op SWE-bench en Terminal-Bench.
• Doorvoer. Op basis van het klassement van Artificial Analysis meldt Nvidia bij agenttaken op een enkele gpu tot vijf keer de doorvoer van open modellen van vergelijkbare grootte. In een onafhankelijke test van EXO Labs op de DGX Spark was geen enkel ander model zowel sneller als nauwkeuriger.

Super VL kan bovendien overweg met OCR, tabellen, grafieken, documenten van meerdere pagina's en video, zonder apart vision-model. Op de grafiekbenchmark CharXiv scoort het 80,8 procent, tegenover 63 procent voor het oudere Nemotron 3 Nano Omni. Dat stijgt naar 84 procent als het model Python-code mag uitvoeren.

Zo drukt Nvidia de rekenkosten

Nvidia comprimeert het model met zijn eigen 4-bitsformaat NVFP4. Blackwell-gpu's draaien het model volledig in 4-bitsprecisie. Oudere kaarten slaan alleen de gewichten op in 4 bits en rekenen in 16 bits, terwijl gevoelige onderdelen van het model een hogere precisie behouden. Een ingebouwd conceptonderdeel stelt alvast tokens voor, die het hoofdmodel vervolgens controleert. Op de DGX Spark raadt Nvidia in plaats daarvan zijn LiLiCorr-methode aan en meldt het tot 2,3 keer snellere tekstgeneratie.

Agents sturen bij elk verzoek opnieuw dezelfde instructies, toolbeschrijvingen en geschiedenis mee, dus Super VL slaat dat herhaalde werk op in een cache. De inferentiesoftware Dynamo van Nvidia stuurt elke sessie naar de gpu die de bijbehorende cache al bevat. Op 16 B200-gpu's levert dat volgens Nvidia acht keer zoveel gelijktijdige gebruikers op en daalt de tijd tot het eerste token met 85 procent.

Bolt: lokale agents, maar niet goedkoop

Bolt 74B-A9B 24GB is een afgeslankte Super VL waarvan per stap 9 van de 74 miljard parameters actief zijn. Dankzij agressieve 2-bitskwantisatie past het in 24 GB geheugen. Het kan code schrijven en debuggen, het web doorzoeken of uitzoeken welke pc-onderdelen bij een systeem passen. Het werkt met llama.cpp, Ollama, LM Studio en vLLM. Toch betekent 24 GB dure high-end hardware, dus voorlopig zijn vooral ontwikkelaars en bezitters van workstations de doelgroep. Een Bolt E4B van 4 GB voor spraakassistenten en apparaatinterfaces volgt later deze maand.

Eerste gebruikers en open materiaal

Volgens Nvidia zijn al tientallen organisaties bezig Super VL te finetunen, vooral in sectoren met veel documenten en gevoelige data. Ramp zet foto's van bonnetjes om in gestructureerde gegevens. EY gebruikt het model voor due diligence bij overnames. CrowdStrike bouwt agents om bedrijfsnetwerken te verdedigen.

De gewichten komen in een basisversie, een nagetrainde versie en een 4-bitsversie, samen met datasets, trainingsrecepten en omgevingen voor reinforcement learning. Een van de datasets, samengesteld met het Indian Institute of Technology Madras en zijn lab AI4Bharat, bevat zo'n 2,83 biljoen tokens in 22 Indiase talen.

Onze kijk

Voor bedrijven die agents op hun eigen servers willen draaien, afgestemd op hun eigen data en buiten de gebruiksvoorwaarden van een aanbieder, lijkt Super VL een serieuze optie. De open datasets en recepten gaan verder dan de meeste releases die alleen gewichten bevatten. In combinatie met tools zoals platforms voor post-training verlagen ze de drempel om modellen aan te passen.

Het motief is wel duidelijk. Elke variant is geoptimaliseerd voor Nvidia-hardware, en meer zelf gehoste modellen betekenen meer vraag naar zijn chips. Meta, Google, Anthropic en OpenAI bouwen hun eigen chips, dus dit wijst erop dat open modellen Nvidia's verzekeringspolis worden. Het is de moeite waard om te volgen of onafhankelijke benchmarks de cijfers van Nvidia bevestigen, en of concurrenten als Reflection Beam de strijd op het gebied van openheid kunnen aangaan.