Segun MarkTechPost (AI/ML News), AMD ha presentado Instella-MoE-16B-A3B, un modelo de lenguaje basado en expertos (MoE) completamente abierto, entrenado desde cero en sus GPUs Instinct MI300X y MI325X. Este sistema cuenta con 16 mil millones de parámetros totales, pero solo activa 2.800 millones por token, lo que representa una eficiencia notable en el uso de recursos computacionales. La arquitectura emplea un diseño decoder-only con 27 capas, tamaño oculto de 2048, 16 cabezas de atención y un vocabulario de 128.896 tokens. Cada capa combina dos expertos compartidos y seis expertos seleccionados de un conjunto de 64, generando así el perfil de activación del modelo. Durante su entrenamiento, se aplicó un objetivo de predicción multi-token, clave para mejorar la comprensión de secuencias largas.
El modelo incorpora dos innovaciones estructurales: el Gated Multi-head Latent Attention y la conexión FarSkip-Collective. La primera introduce una puerta aprendida que modula la salida de cada cabeza de atención, ajustándose dinámicamente según el contexto. La segunda permite que los datos se propaguen de forma eficiente a través de múltiples tokens sin sobrecargar el sistema. AMD ha publicado todos los pesos intermedios, mezclas de datos, configuraciones de entrenamiento y el código de inferencia, facilitando su uso en entornos académicos y de investigación. Los archivos se distribuyen bajo la licencia ResearchRAIL, lo que limita su aplicación a fines de investigación y educación, sin permitir su uso comercial directo.
El código de entrenamiento, en cambio, está bajo licencia MIT, lo que lo convierte en un recurso más accesible para equipos que desean replicar el proceso o adaptarlo a sus propios escenarios. La carga de memoria para 16 mil millones de parámetros en formato BF16 se estima en aproximadamente 32 gigabytes, lo que indica que un solo acelerador de alto rendimiento en memoria podría cubrir las necesidades de inferencia. AMD ha integrado SGLang, un entorno de inferencia que permite una ejecución más eficiente del modelo. Este avance se alinea principalmente con laboratorios de investigación en inteligencia artificial, universidades y equipos de desarrollo interno de empresas que cuentan con infraestructura de datos y acceso a GPUs.
Para el lector peruano, este desarrollo representa una oportunidad para instituciones académicas y centros de innovación tecnológica que buscan acceder a tecnologías de vanguardia sin depender de soluciones comerciales cerradas. Aunque el modelo no es apto para startups que requieren endpoints de servicio en la nube, puede servir como base para estudios sobre arquitecturas de IA, entrenamiento de modelos de larga secuencia o la eficiencia de los sistemas de atención en redes neuronales. En un contexto donde el acceso a herramientas de inteligencia artificial se vuelve cada vez más relevante, este tipo de publicación abierta puede acelerar el desarrollo local de soluciones tecnológicas adaptadas a necesidades nacionales.