Segun MarkTechPost (AI/ML News), un equipo de investigación de NVIDIA ha presentado una variante optimizada del modelo de inteligencia artificial Nemotron-3-Super, denominada Nemotron-Labs-3-Puzzle-75B-A9B. Esta nueva versión se enfoca en reducir el consumo de recursos sin comprometer la precisión operativa del sistema. El modelo original, con 120.700 millones de parámetros totales y 12.800 millones activos, ha sido condensado a 75.300 millones de parámetros totales y 9.300 millones activos, manteniendo intacta su estructura de 88 bloques: 40 basados en Mamba, 40 en arquitectura de especialistas (MoE) y 8 en atención.
La reducción de peso —de 70 a 44,5 gigabytes— permite aumentar significativamente la capacidad de procesamiento en servidores. En pruebas específicas, el rendimiento de un servidor de tipo B200 se eleva un 1.60 veces, alcanzando un factor de 2.14 veces respecto al modelo padre, cuando se mantiene el mismo volumen de uso por usuario. Asimismo, se logra soportar ocho solicitudes concurrentes de 1 millón de tokens en un solo GPU H100, una mejora clave para entornos de alta carga. Los datos provienen de tres versiones disponibles en Hugging Face: BF16, FP8 y NVFP4, lo que permite adaptación a distintos entornos de inferencia.
El avance no implica una reducción uniforme del tamaño de los bloques, sino una optimización interna que conserva la distribución original. Los expertos de Mamba han sido pruned de forma uniforme, debido a limitaciones en los frameworks de inferencia que no permiten variaciones en el tamaño del estado de cada capa. Aunque se ha reducido el tamaño global del modelo, el sistema no se convierte en una versión escalada simplificada del original, sino en una versión densamente optimizada que mantiene su eficiencia en el manejo de cachés de vectores (KV) y estados de procesamiento.
En pruebas de rendimiento, el modelo supera al enfoque tradicional de una sola etapa (single-step Puzzle) en un promedio de 0.57 puntos, lo que refleja una mejora en la resolución de tareas complejas. Los resultados más relevantes se registran en conjuntos como Arena-Hard-V2 (con pérdida reducida de 4.2 puntos) y SWE-Bench (2.6 puntos), mientras que otros benchmarks como RULER y AA-LCR no presentan variaciones notables.
Para el lector peruano, este avance en tecnología AI no solo representa una mejora técnica, sino una vía para que soluciones más eficientes de inteligencia artificial se integren en entornos locales. A medida que los centros de datos en el país enfrentan crecientes demandas de procesamiento, especialmente en sectores como banca, comercio y salud, la capacidad de ejecutar modelos de gran tamaño con menor consumo energético y costo operativo se vuelve crítica. Este tipo de innovaciones podría acelerar el desarrollo de herramientas digitales accesibles, reduciendo la brecha entre tecnologías avanzadas y su aplicación práctica en contextos nacionales.