Segun MarkTechPost (AI/ML News), el laboratorio de modelos fundamentales (IFM), creado por MBZUAI en mayo de 2025, ha lanzado una nueva generación de modelos de inteligencia artificial, compuesta por seis arquitecturas distintas que comparten una estructura común. Este conjunto incluye modelos con tamaños que van desde 0.9B hasta 375B parámetros, todos disponibles bajo licencia Apache 2.0 y accesibles en plataformas como Hugging Face. La entrega incluye no solo puntos de control iniciales, sino también el cuerpo de entrenamiento, códigos de desarrollo, configuraciones detalladas y registros de ejecución. Este lanzamiento es considerado el más amplio en cuanto a disponibilidad abierta en la historia de la inteligencia artificial.
Cada uno de los seis modelos ha sido entrenado con aproximadamente 20 trillones de tokens, de los cuales cerca del 17 por ciento proviene de trayectorias de resolución de problemas que incorporan razonamientos explícitos. Alrededor de 10 trillones de tokens son sintéticos, generados mediante procesos de simulación durante el entrenamiento. Los datos post-entrenamiento se integraron en medio del proceso, no al final, lo que permite una adaptación continua del modelo. El equipo de investigación reporta más de 100 millones de tareas sintéticas únicas, cada una definida en formato JSON, XML o Markdown. Durante el entrenamiento, el uso de Markdown como formato de definición de herramientas resultó en un rendimiento aproximadamente 18.5 por ciento más eficiente en términos de tokens, convirtiéndolo en la opción predeterminada en el proceso de inferencia.
Una innovación clave de este lanzamiento es MoVA, o Mixture-of-Value Attention, que introduce la sparsity (escasez) directamente en las capas de atención múltiple, no solo en capas de transformación. Esto permite ampliar la capacidad de escalado sin afectar la compatibilidad con tecnologías como FlashAttention o consultas agrupadas. Cada modelo comparte un vocabulario unificado, lo que permite a los equipos desarrolladores probar prototipos en tamaños pequeños, como el 3.7B, y luego escalar sin necesidad de reestructurar su infraestructura de servicio. El soporte inicial está disponible para plataformas como vLLM, SGLang y Ollama, tanto en hardware de NVIDIA como AMD, y en sistemas como Cerebras.
Para los lectores peruanos, esta evolución en la disponibilidad de modelos abiertos implica una mayor accesibilidad para empresas y emprendedores que buscan implementar inteligencia artificial sin depender de plataformas cerradas. Aunque los costos de infraestructura siguen siendo considerables, la posibilidad de usar modelos de tamaño variable, con entrenamiento y soporte integrado, abre puertas a soluciones personalizadas en sectores como finanzas, educación o salud. En un contexto donde el acceso a tecnologías de vanguardia es clave para la innovación local, este tipo de lanzamientos puede ser un punto de partida para integrar IA de forma más sostenible y escalable en el desarrollo nacional.