Según MarkTechPost (AI/ML News), Meituan ha presentado LongCat-2.0, un modelo de lenguaje basado en la arquitectura de mezcla de expertos (MoE) con 1.6 trillones de parámetros. Este sistema opera con un ventana de contexto nativa de un millón de tokens, lo que permite procesar secuencias de texto extremadamente largas sin pérdida de coherencia. Durante su entrenamiento, se utilizaron más de 35 trillones de tokens distribuidos en millones de horas de aceleración, sin registrarse caídas irreversibles ni retrocesos en el proceso. La infraestructura completa —entrenamiento y servicio— se ejecutó en superpoderes de hardware especializado doméstico, destacando su independencia tecnológica frente a plataformas basadas en GPUs de marcas extranjeras.
La innovación de LongCat-2.0 se centra en la automatización del desarrollo de software, específicamente en tareas de comprensión, generación y ejecución de código dentro de flujos de agentes. Para lograr una eficiencia operativa sostenible, el diseño incorpora cuatro principios clave que reducen significativamente el costo computacional. Primero, se implementa un mecanismo de expertos "cero de cálculo": símbolos simples como signos de puntuación son dirigidos a unidades que no requieren procesamiento intenso, mientras que elementos complejos activan capacidades más especializadas. Este enfoque se regula mediante un controlador PID que mantiene el equilibrio entre carga y rendimiento, generando un rango dinámico de activación entre 33 y 56 mil millones de expertos.
Además, el modelo emplea una arquitectura de atención esparsa denominada LongCat Sparse Attention (LSA), que mejora la escalabilidad al seleccionar solo los tokens más relevantes en cada operación. Esta tecnología evita que el tiempo de cálculo crezca cuadráticamente con la longitud del contexto, reduciendo así el costo de procesamiento. El diseño de LSA se basa en tres métodos de indexación ortogonales: una que organiza lecturas de memoria fragmentadas en bloques contiguos, y otra que reutiliza índices entre capas de atención. Este sistema permite que el modelo maneje grandes volúmenes de datos sin sobrecargar los recursos del hardware.
Para el lector peruano, este avance en inteligencia artificial tiene implicaciones directas en el desarrollo local de tecnologías de software. Aunque el modelo aún no está disponible públicamente, su enfoque en agencias de código puede inspirar a startups y universidades del país a diseñar soluciones más autónomas para automatizar tareas de programación. En un entorno donde la inversión en tecnología sigue creciendo, entender cómo se optimizan los modelos de gran escala puede ayudar a tomar decisiones más informadas sobre adopción de herramientas digitales. Además, el hecho de que el entrenamiento se realice en infraestructura nacional subraya la importancia de desarrollar capacidades tecnológicas internas, reduciendo dependencia de tecnologías extranjeras.