Nemotron 3.5 Super VL: Nvidias offenes Modell für KI-Agenten

Nvidia hat Nemotron 3.5 Super VL veröffentlicht, ein offenes multimodales Modell mit 120 Milliarden Parametern. Es ist für Unternehmensagenten gedacht, die ohne Pause im Hintergrund laufen und dabei Texte, Bilder, Dokumente und Videos verarbeiten. Zeitgleich erscheinen zwei kleinere "Bolt"-Modelle für lokale PCs und Edge-Geräte.

Damit wächst das Angebot an Open-Weight-Modellen großer Techkonzerne weiter. Nvidia legt dabei mehr von den zugrunde liegenden Materialien offen als die meisten anderen.

Architektur und behauptete Leistung

Super VL basiert auf einem Mixture-of-Experts-Ansatz. Von den 120 Milliarden Parametern sind pro Token nur 12 Milliarden aktiv. Entwickelt hat Nvidia das Modell gemeinsam mit der Nemotron Coalition, zu der unter anderem Mistral AI, Thinking Machines Lab, Perplexity und Black Forest Labs gehören.

Das Modell wurde aus Nemotron 3 Ultra destilliert, Nvidias größtem Reasoning-Modell. Nvidias wichtigste Aussagen:

• Auf Ultra-Niveau bei einem Bruchteil der Größe. Beim Befolgen von Anweisungen, bei Tool-Aufrufen, mehrstufigen Geschäftsprozessen und der Bildanalyse soll Super VL mit etwa einem Fünftel der Parameter die Genauigkeit von Ultra erreichen. In Agententests von Hermes und LangChain schneidet es laut Nvidia sogar besser ab als Ultra.
• Besseres Programmieren. Bei SWE-bench und Terminal-Bench übertrifft es seinen Vorgänger Nemotron 3 Super.
• Durchsatz. Unter Berufung auf die Rangliste von Artificial Analysis meldet Nvidia bei Agentenaufgaben auf einer einzelnen GPU bis zu fünfmal so viel Durchsatz wie bei vergleichbar großen offenen Modellen. In einem unabhängigen Test von EXO Labs auf dem DGX Spark war kein anderes Modell zugleich schneller und genauer.

Super VL beherrscht außerdem Texterkennung, Tabellen, Diagramme, mehrseitige Dokumente und Videos, ohne dass ein separates Bildmodell nötig ist. Im Diagramm-Benchmark CharXiv erreicht es 80,8 Prozent, das ältere Nemotron 3 Nano Omni kam auf 63 Prozent. Darf das Modell Python-Code ausführen, steigt der Wert auf 84 Prozent.

Wie Nvidia die Rechenkosten drückt

Nvidia komprimiert das Modell mit seinem 4-Bit-Format NVFP4. Blackwell-GPUs führen das Modell vollständig mit 4-Bit-Genauigkeit aus. Ältere Karten speichern nur die Gewichte mit 4 Bit und rechnen mit 16 Bit, empfindliche Teile des Modells behalten eine höhere Genauigkeit. Eine eingebaute Entwurfskomponente schlägt vorab Tokens vor, die das Hauptmodell anschließend prüft. Auf dem DGX Spark empfiehlt Nvidia stattdessen sein LiLiCorr-Verfahren und meldet eine bis zu 2,3-mal schnellere Textgenerierung.

Agenten schicken bei jeder Anfrage dieselben Anweisungen, Tool-Beschreibungen und denselben Verlauf erneut mit, deshalb legt Super VL diese wiederkehrende Arbeit im Cache ab. Nvidias Inferenzsoftware Dynamo leitet jede Sitzung an die GPU weiter, die ihren Cache bereits vorhält. Auf 16 B200-GPUs soll das achtmal so viele gleichzeitige Nutzer ermöglichen und die Zeit bis zum ersten Token um 85 Prozent verkürzen.

Bolt: lokale Agenten, aber keine günstigen

Bolt 74B-A9B 24GB ist ein abgespecktes Super VL, bei dem pro Schritt 9 von 74 Milliarden Parametern aktiv sind. Dank aggressiver 2-Bit-Quantisierung passt es in 24 GB Speicher. Es kann Code schreiben und debuggen, im Netz suchen oder ermitteln, welche PC-Komponenten zu einem System passen. Unterstützt werden llama.cpp, Ollama, LM Studio und vLLM. Allerdings bedeuten 24 GB teure High-End-Hardware, die Zielgruppe sind vorerst also Entwickler und Besitzer von Workstations. Ein 4 GB großes Bolt E4B für Sprachassistenten und Geräteoberflächen soll noch in diesem Monat folgen.

Erste Nutzer und offene Materialien

Laut Nvidia passen bereits Dutzende Organisationen Super VL an, vor allem in dokumentenlastigen Branchen mit sensiblen Daten. Ramp verwandelt Fotos von Belegen in strukturierte Daten. EY setzt das Modell bei der Due-Diligence-Prüfung von Übernahmen ein. CrowdStrike baut Agenten, die Unternehmensnetzwerke verteidigen sollen.

Die Gewichte gibt es als Basisversion, nachtrainierte Version und 4-Bit-Version, dazu Datensätze, Trainingsrezepte und Umgebungen für Reinforcement Learning. Ein Datensatz, entstanden mit dem Indian Institute of Technology Madras und dessen Labor AI4Bharat, umfasst rund 2,83 Billionen Tokens in 22 indischen Sprachen.

Unsere Einschätzung

Für Unternehmen, die Agenten auf eigenen Servern betreiben, auf eigene Daten zuschneiden und den Nutzungsbedingungen eines Anbieters entziehen wollen, wirkt Super VL wie eine ernsthafte Option. Die offenen Datensätze und Rezepte gehen weiter als die meisten Veröffentlichungen, die nur Gewichte umfassen. Zusammen mit Werkzeugen wie Post-Training-Plattformen senken sie die Hürde für eigene Anpassungen.

Das Motiv ist allerdings klar. Jede Variante ist auf Nvidia-Hardware abgestimmt, und mehr selbst betriebene Modelle bedeuten mehr Nachfrage nach Nvidias Chips. Meta, Google, Anthropic und OpenAI entwickeln eigene Chips, offene Modelle scheinen also zu Nvidias Absicherung zu werden. Es lohnt sich zu beobachten, ob unabhängige Benchmarks Nvidias Zahlen bestätigen und ob Konkurrenten wie Reflection Beam bei der Offenheit mithalten können.