Según MarkTechPost (AI/ML News), Baidu ha presentado ERNIE 5.5 Flash Base, un modelo de lenguaje basado en una arquitectura de expertos dispersos (MoE) diseñado para procesar textos de manera eficiente. Este modelo, con un total de 280 mil millones de parámetros, activa solo 14 mil millones por cada token durante la inferencia. Su entrenamiento se realizó desde cero sobre 33,5 trillones de tokens utilizando el optimizador Muon, y se basa en un tokenizador compuesto por 201.216 entradas que agrupa números de derecha a izquierda en bloques de hasta tres dígitos. La estructura del modelo incluye 43 capas, con una dimensión oculta de 4096 unidades, y fue entrenado con un contexto de entrenamiento de 128 mil tokens, extendiéndose a un total de 1 millón de tokens para ajustes y ejecución.
La arquitectura combina dos tipos de atención: en 37 capas se emplea la Atención Heavily Compressed (HCA), que almacena una entrada cada 128 tokens, reduciendo significativamente el uso de memoria. En las otras seis capas se aplica una atención multiencabezada con atención dispersa (MLA + DSA), permitiendo que una fracción reducida de las capas mantenga acceso completo al contexto. Esto implica que solo 1 de cada 7 capas puede acceder al contenido completo, optimizando así el consumo de recursos. Baidu afirma que este modelo obtiene el mejor rendimiento en 24 de los 30 benchmarks estándar de modelos de base que evalúa su pipeline interno, alcanzando una puntuación de 78,4 en el MMLU-Pro, superando al DeepSeek-V4-Flash-Base que registra 69,2. En cambio, su desempeño en el test HELMET-Rerank baja a 56,2, frente a los 60,0 del modelo mencionado.
El modelo se entrena en entornos de servidores multigpu, utilizando configuraciones de paralelismo de cuatro GPUs con herramientas como SGLang y vLLM. Aunque no se han revelado detalles sobre el modelo de GPU o la capacidad de memoria VRAM, se indica que los pesos se almacenan en formatos FP8 y BF16, lo cual permite mantener eficiencia computacional sin sacrificar precisión. El conjunto de datos de entrenamiento prioriza materiales de código a escala de repositorio y contenidos de larga secuencia, considerando que estos componentes son difíciles de incorporar posteriormente.
Para el lector peruano, este avance en inteligencia artificial resalta la creciente capacidad de los gigantes tecnológicos para desarrollar modelos de lenguaje escalables y eficientes. Aunque Baidu no ha lanzado aún una versión accesible para usuarios comunes, su enfoque en reducir el uso de recursos sin comprometer el rendimiento puede inspirar futuras aplicaciones en sectores como educación, servicios financieros o atención al cliente. En un mercado donde las soluciones digitales son cada vez más críticas, entender cómo estos modelos operan permite a los peruanos tomar decisiones más informadas sobre el uso de tecnologías de inteligencia artificial en sus negocios o entornos personales.