Segun MarkTechPost (AI/ML News), un equipo de investigadores chinos ha presentado AntAngelMed, un modelo de lenguaje médico abierto con 103 mil millones de parámetros. A pesar de su escala, no todos los parámetros se activan simultáneamente durante el procesamiento de consultas. Este modelo emplea una arquitectura de mezcla de expertos (MoE) con una relación de activación de 1/32, lo que significa que solo 6.1 mil millones de parámetros se utilizan en cada consulta. Esta estrategia permite mantener una capacidad de conocimiento amplia sin cargar excesivamente el sistema de cálculo durante la inferencia.
La estructura de MoE divide el modelo en múltiples subredes especializadas, conocidas como expertos. Un mecanismo de enrutamiento selecciona únicamente un subconjunto de estos expertos para cada entrada, reduciendo así el consumo de recursos. Este diseño contrasta con los modelos densos tradicionales, donde todos los parámetros intervienen en cada token. AntAngelMed hereda su diseño de Ling-flash-2.0, un modelo base desarrollado por inclusionAI, y se basa en lo que su equipo denomina "Ling Scaling Laws". Además, incorpora mejoras técnicas como una precisión refinada en la especialización de expertos, un equilibrio de atención, un mecanismo de enrutamiento con función sigmoidal sin pérdida auxiliar, una capa de predicción multi-token (MTP), normalización QK y una variante parcial de Rotary Position Embedding (Partial-RoPE). Estas optimizaciones permiten que el modelo logre una eficiencia hasta siete veces mayor que modelos densos de tamaño comparable. Así, con solo 6.1 mil millones de parámetros activos, AntAngelMed alcanza un rendimiento equivalente a aproximadamente 40 mil millones de parámetros en un modelo denso. Además, su ventaja en velocidad crece exponencialmente al aumentar la longitud de salida, alcanzando niveles de eficiencia de hasta siete veces superiores.
Para el lector peruano, este avance representa un punto clave en el desarrollo de tecnologías de inteligencia artificial aplicadas al sector de salud. Aunque actualmente no está disponible para uso clínico en el país, su implementación futura podría potenciar el acceso a diagnósticos digitales, apoyo en consultas médicas o herramientas de educación sanitaria. En un entorno donde las instituciones de salud enfrentan presiones crecientes por recursos limitados, modelos como AntAngelMed ofrecen una vía viable para mejorar la calidad del servicio sin incrementar costos operativos. Su eficiencia en cálculo abre la posibilidad de escalar soluciones inteligentes en hospitales públicos o centros de salud comunitarios, especialmente en zonas rurales con infraestructura tecnológica reducida. La clave está en cómo esta tecnología se adapte a necesidades locales, evitando que la innovación se limite a centros urbanos o de alto presupuesto.