Segun MarkTechPost (AI/ML News), un consorcio alemán ha presentado el informe de entrenamiento del modelo Soofi S 30B-A3B, una base abierta diseñada para el idioma alemán y el inglés. Este modelo, desarrollado en colaboración con instituciones como Fraunhofer IAIS, DFKI, TU Darmstadt, ellamind y Merantix Momentum, se entrena completamente en la nube industrial de Deutsche Telekom en Munich. Sus pesos se pueden acceder en Hugging Face, permitiendo a investigadores y desarrolladores su uso sin restricciones. A diferencia de otros modelos de base abiertos, Soofi S registra los mejores resultados combinados en inglés y alemán entre los evaluados, destacando su eficiencia en tareas de comprensión y generación de lenguaje.
El diseño de Soofi S 30B-A3B se basa en una arquitectura híbrida que combina Mamba-2 y una estructura de expertos (MoE). El modelo cuenta con aproximadamente 31.600 millones de parámetros, activando alrededor de 3.200 millones por token. No incluye entrenamiento para instrucciones, alineación ni seguridad, lo que lo posiciona como una base técnica para futuras adaptaciones. La estructura interna combina 23 capas de Mamba-2, 23 capas de MoE y 6 capas de atención con consulta agrupada (GQA), de las cuales solo las 6 mantienen un caché de memoria clave. Cada capa de MoE activa seis expertos por token y añade dos expertos compartidos, optimizando el uso de recursos sin sacrificar rendimiento. La dimensión del modelo es de 2688, empleando función ReLU cuadrada y normalización RMSNorm, sin incorporar embeddings posicionales.
El equipo de investigación eligió el diseño Nemotron 3 Nano como referencia, manteniendo su estructura original sin modificaciones. Esta elección fue justificada por su facilidad para integrarse en entornos de servicio como vLLM, su eficiencia en el procesamiento y su control científico claro. El entrenamiento se desarrolló sobre una cantidad total de aproximadamente 26.680 mil millones de tokens, distribuidos en tres fases. El proceso sigue un esquema Warmup–Stable–Decay (WSD), con una etapa de decrecimiento basada en la raíz inversa del tamaño del token. La primera fase consumió alrededor de 20.000 mil millones de tokens, estableciendo una base sólida para el desarrollo posterior.
Para el lector peruano, este avance en IA abierta representa una oportunidad clave para el desarrollo local de herramientas de inteligencia artificial. Aunque el modelo está enfocado en idiomas europeos, su estructura modular y su acceso abierto permiten que instituciones, universidades o emprendimientos en el país puedan adaptar tecnologías similares a sus contextos lingüísticos y sociales. El crecimiento de modelos de base abierta puede acelerar la innovación en sectores como educación, salud o finanzas, donde el uso de lenguaje natural es fundamental. La transparencia técnica y la disponibilidad de datos facilitan la replicación y el aprendizaje, lo que puede impulsar una economía digital más inclusiva y empoderada.