Segun MarkTechPost (AI/ML News), NVIDIA ha presentado Audex (Nemotron-Labs-Audex-30B-A3B), un modelo de lenguaje multimodal diseñado para procesar tanto audio como texto de manera integrada. Este sistema, basado en una arquitectura de mezcla de expertos (MoE), combina capacidades de reconocimiento de voz y generación de audio dentro de una sola estructura. La innovación principal radica en que el modelo conserva las métricas de rendimiento textuales de su backbone, Nemotron-Cascade-2-30B-A3B, un modelo de lenguaje exclusivamente textual con 52 capas híbridas Mamba-Transformer. Este backbone activa 6 expertos de un total de 128, utilizando una configuración que prioriza eficiencia y estabilidad.
Audex opera con una capa de 30 mil millones de parámetros, aunque solo activa 3 mil millones por token en ejecución. Al recibir entradas auditivas, el sistema las codifica y las proyecta directamente en el espacio de embeddings de texto, evitando que las señales sonoras sean tratadas de forma separada. Durante la generación, tanto los tokens textuales como los audio-quantizados son gestionados como unidades homogéneas, eliminando el sesgo tradicional de "text tax" que afecta a la mayoría de los modelos multimodales. Esta estrategia permite que las puntuaciones en benchmarks de lenguaje se mantengan cercanas a las del modelo original, con variaciones mínimas en ganancias o pérdidas. El proceso se apoya en un entrenamiento por etapas (multi-stage SFT) y un método de aprendizaje por recompensa en cascada (Cascade RL) aplicado exclusivamente al texto, sin dividir el sistema en módulos separados.
La arquitectura es notablemente sencilla, lo que permite su implementación en pilares existentes de infraestructura de modelos, como Megatron-LM para entrenamiento y vLLM para inferencia. Audex ofrece dos modos: uno instruccional y otro de razonamiento, con una longitud de contexto que alcanza un millón de tokens. Además, el modelo está disponible bajo licencia no comercial, junto con una versión reducida de 2 mil millones de parámetros (Audex-2B). A diferencia de la mayoría de los modelos abiertos, Audex es uno de pocos que produce audio generalizado más allá de la voz, abriendo puertas a aplicaciones en servicios de asistentes, traducción automática o generación de contenido multimedia.
Para el lector peruano, este avance representa una oportunidad clave en el desarrollo de tecnologías de comunicación inteligente. En un contexto donde el acceso a servicios de asistencia, educación y atención al cliente se vuelve cada vez más digital, herramientas que entienden y generan contenido audiovisual sin perder precisión textual pueden transformar el diseño de apps locales. Aunque aún en etapa inicial, Audex podría inspirar soluciones más accesibles para pequeñas y medianas empresas que buscan integrar inteligencia artificial sin depender de infraestructuras costosas. El enfoque de NVIDIA en mantener la calidad del texto mientras se amplía el rango de entrada sugiere una tendencia hacia modelos más equilibrados, que no solo imiten el lenguaje, sino que lo completen con sentido.