Según MarkTechPost (AI/ML News), los modelos de mezcla de expertos (MoE) en inteligencia artificial comparten una arquitectura básica pero divergen en sus detalles de selección de expertos. Esta variabilidad se manifiesta en cinco parámetros clave: número total de expertos, cantidad de expertos por token, presencia de un experto compartido, función de puntuación y método de equilibrio de carga. Se analizan diez modelos, desde Qwen3.6-35B-A3B (35 billones de parámetros totales, 3 billones activos) hasta DeepSeek-V4-Pro (1,6 trillones de parámetros totales, 49 billones activos). Cada uno emplea un mecanismo de selección por tokens, donde cada unidad de entrada elige independientemente sus expertos de procesamiento.
La eficiencia de estos modelos se mide por el grado de esparcimiento (sparsity) en sus operaciones. En Mixtral, el esparcimiento alcanza un máximo de 4 veces, con 8 expertos y selección top-2. En contraste, Llama 4 Maverick logra un esparcimiento de hasta 128 veces, utilizando 128 expertos y una selección top-1. Un hallazgo destacado es que Kimi K2 logra un esparcimiento de 48, reduciendo en un 69% los flujos de operaciones (FLOPs) respecto al esparcimiento de 8, manteniendo el mismo nivel de rendimiento en pruebas. Sin embargo, otros modelos como Llama 4 Maverick y gpt-oss no divulgan públicamente sus métodos de selección o equilibrio de carga en sus archivos técnicos, lo que limita su transparencia.
El modelo DeepSeek-V3 aplica una función sigmoide para evaluar 256 expertos, normalizando las puntuaciones y ajustando la selección mediante un sesgo per experto que favorece los 8 mejores sin modificar los pesos de mezcla. Los expertos se agrupan en ocho bloques, y el sistema prioriza cuatro grupos iniciales. Cada token solo puede acceder a un máximo de cuatro nodos. Además, un experto compartido funciona continuamente para todos los tokens. En DeepSeek-V4, esta configuración se amplía: el número de expertos en el modelo progresivo se eleva a 384, reflejando una mayor capacidad de procesamiento y especialización.
Para el lector peruano, esta evolución en la arquitectura de los modelos MoE implica que las decisiones de selección de expertos no solo influyen en el rendimiento técnico, sino también en la eficiencia de consumo energético y de hardware. En un contexto de creciente demanda por soluciones tecnológicas accesibles, como las que ofrecen plataformas de inversión o servicios financieros digitales, entender cómo se distribuyen los cálculos permite evaluar mejor la viabilidad de estos sistemas. Aunque los modelos abiertos permiten una auditoría completa de sus configuraciones, el uso de nombres como “17B activos” puede engañar, ya que ocultan diferencias profundas en sus mecanismos de selección. Es vital que los usuarios y desarrolladores revisen los detalles técnicos, no solo los datos publicitarios.