Segun MarkTechPost (AI/ML News), un equipo de investigación ha presentado una variante optimizada del modelo Nemotron-3-Super, denominada Nemotron-Labs-3-Puzzle-75B-A9B. Esta versión, desarrollada por el equipo de NVIDIA, busca reducir el consumo de recursos sin comprometer la precisión del modelo. El modelo original cuenta con 120.700 millones de parámetros totales y 12.800 millones activos, mientras que su versión comprimida reduce a 75.300 millones totales y 9.300 millones activos. Esta reducción se logra manteniendo intacta la arquitectura de 88 bloques: 40 basados en Mamba, 40 en MoE y 8 de atención, sin modificar la distribución interna de los expertos o el tamaño de los estados latentes.
El objetivo principal fue aumentar la capacidad de procesamiento de servidores, alcanzando un rendimiento de 2.14 veces superior al original en condiciones de carga equilibrada, con un flujo de 100 tokens por segundo por usuario. En pruebas ejecutadas en servidores H100, se logró soportar hasta ocho solicitudes de 1 millón de tokens simultáneamente, un avance significativo respecto al límite anterior de una sola petición. La reducción de peso total del modelo —de 70 GB a 44.5 GB— fue clave para este avance, permitiendo una operación más eficiente sin sacrificar la calidad de respuesta.
Los resultados muestran que el modelo compuesto en múltiples capas (hybrid MoE) logra una mejora de hasta 0.57 puntos promedio en pruebas de rendimiento, frente a versiones tradicionales de compresión. Las pruebas más críticas, como Arena-Hard-V2 y SWE-Bench, registran una reducción de error de -4.2 y -2.6 respectivamente, mientras que otros conjuntos como RULER y AA-LCR no experimentan cambios notables. Este comportamiento indica que la compresión no afecta las tareas más complejas de razonamiento, clave para aplicaciones en desarrollo de software o análisis de código.
Para el lector peruano, esta evolución en inteligencia artificial tiene un potencial directo en el acceso a tecnologías de ciberseguridad, asesoría financiera o soporte en gestión de empresas. Muchas instituciones locales enfrentan limitaciones en infraestructura tecnológica, y soluciones como esta pueden permitir una implementación más rápida y económica de modelos de IA en entornos de servicios públicos, banca o administración de proyectos. Aunque aún no se han anunciado aplicaciones específicas en el mercado latinoamericano, el avance demuestra que la eficiencia en el uso de recursos puede ser clave para democratizar el acceso a la inteligencia artificial, sin necesidad de grandes inversiones en hardware.