Nemotron 3.5 Super VL: modelo abierto de Nvidia para agentes

Nvidia ha lanzado Nemotron 3.5 Super VL, un modelo multimodal abierto con 120.000 millones de parámetros. Está pensado para agentes empresariales que funcionan sin descanso en segundo plano y trabajan con texto, imágenes, documentos y vídeo. Junto a él llegan dos modelos "Bolt" más pequeños para ordenadores locales y dispositivos edge.

El lanzamiento se suma a la creciente oferta de modelos de pesos abiertos de las grandes tecnológicas. La versión de Nvidia incluye más materiales de base que la mayoría.

Arquitectura y rendimiento declarado

Super VL utiliza un diseño Mixture-of-Experts. Solo 12.000 de sus 120.000 millones de parámetros se activan con cada token. Nvidia ha desarrollado el modelo con la Nemotron Coalition, un grupo del que forman parte Mistral AI, Thinking Machines Lab, Perplexity y Black Forest Labs.

El modelo se ha destilado a partir de Nemotron 3 Ultra, el mayor modelo de razonamiento de Nvidia. Estas son las principales afirmaciones de la compañía:

• A la altura de Ultra con una fracción del tamaño. En seguimiento de instrucciones, llamadas a herramientas, procesos de negocio de varios pasos y análisis de imágenes, Super VL debería alcanzar la precisión de Ultra con aproximadamente una quinta parte de los parámetros. En las pruebas de agentes de Hermes y LangChain, Nvidia asegura que supera a Ultra.
• Mejor programación. Supera a su predecesor, Nemotron 3 Super, en SWE-bench y Terminal-Bench.
• Rendimiento. Citando la clasificación de Artificial Analysis, Nvidia afirma que ofrece hasta cinco veces el rendimiento de modelos abiertos de tamaño similar en tareas de agentes con una sola GPU. En una prueba independiente de EXO Labs en el DGX Spark, ningún otro modelo fue a la vez más rápido y más preciso.

Super VL también se encarga de OCR, tablas, gráficos, documentos de varias páginas y vídeo sin necesidad de un modelo de visión aparte. Obtiene un 80,8 % en el benchmark de gráficos CharXiv, frente al 63 % del anterior Nemotron 3 Nano Omni. La cifra sube al 84 % cuando el modelo puede ejecutar código Python.

Cómo recorta Nvidia la factura de computación

Nvidia comprime el modelo con su formato NVFP4 de 4 bits. Las GPU Blackwell ejecutan el modelo íntegramente con precisión de 4 bits. Las tarjetas más antiguas solo almacenan los pesos a 4 bits y hacen los cálculos a 16 bits, mientras que las partes sensibles del modelo mantienen una precisión mayor. Un componente de borrador integrado propone tokens por adelantado para que el modelo principal los verifique. En el DGX Spark, Nvidia recomienda en su lugar su método LiLiCorr y afirma que la generación de texto es hasta 2,3 veces más rápida.

Los agentes reenvían las mismas instrucciones, descripciones de herramientas e historial con cada petición, así que Super VL guarda en caché ese trabajo repetido. El software de inferencia Dynamo de Nvidia dirige cada sesión a la GPU que ya tiene su caché. Con 16 GPU B200, Nvidia asegura que esto permite ocho veces más usuarios simultáneos y reduce un 85 % el tiempo hasta el primer token.

Bolt: agentes locales, pero no baratos

Bolt 74B-A9B 24GB es una versión reducida de Super VL con 9 de sus 74.000 millones de parámetros activos por paso. Una cuantización agresiva a 2 bits permite que quepa en 24 GB de memoria. Puede escribir y depurar código, buscar en la web o averiguar qué componentes encajan en un equipo. Es compatible con llama.cpp, Ollama, LM Studio y vLLM. Aun así, 24 GB implican hardware de gama alta y caro, por lo que, de momento, el público objetivo son los desarrolladores y los propietarios de estaciones de trabajo. A finales de este mes llegará un Bolt E4B de 4 GB para asistentes de voz e interfaces de dispositivos.

Primeros usuarios y materiales abiertos

Nvidia afirma que decenas de organizaciones ya están ajustando Super VL, sobre todo en sectores que manejan muchos documentos y datos sensibles. Ramp convierte fotos de recibos en datos estructurados. EY utiliza el modelo para la due diligence de adquisiciones. CrowdStrike está creando agentes para defender redes empresariales.

Los pesos se publican en versiones base, post-entrenada y de 4 bits, junto con conjuntos de datos, recetas de entrenamiento y entornos de aprendizaje por refuerzo. Uno de los conjuntos de datos, creado con el Indian Institute of Technology Madras y su laboratorio AI4Bharat, contiene unos 2,83 billones de tokens en 22 lenguas indias.

Nuestro análisis

Para las empresas que quieren agentes en sus propios servidores, ajustados a sus propios datos y al margen de las condiciones de servicio de un proveedor, Super VL parece una opción seria. Los conjuntos de datos y las recetas abiertas van más allá que la mayoría de lanzamientos que solo incluyen los pesos. Combinados con herramientas como las plataformas de post-entrenamiento, facilitan la personalización.

Eso sí, el motivo está claro. Todas las variantes están optimizadas para hardware de Nvidia, y más modelos autoalojados significan más demanda de sus chips. Meta, Google, Anthropic y OpenAI están fabricando sus propios chips, lo que sugiere que los modelos abiertos se están convirtiendo en la cobertura de Nvidia. Habrá que ver si los benchmarks independientes confirman las cifras de Nvidia y si rivales como Reflection Beam pueden competir en apertura.