Segun MarkTechPost (AI/ML News), el equipo de Cursor Research ha publicado en GitHub una nueva herramienta de entrenamiento de modelos de inteligencia artificial llamada Mixture-of-Kittens (MoK). Este kernel determinista integra todos los pasos de comunicación y cálculo de modelos de expertos (MoE) en una sola unidad, optimizando el rendimiento del proceso. Los resultados indican un aumento de hasta un 237% en la tasa de procesamiento frente al mejor estándar público disponible. La tecnología ya está en funcionamiento en entornos de entrenamiento que utilizan decenas de miles de GPUs, especialmente en arquitecturas como los racks GB300 NVL72.
El sistema requiere un hardware de alto nivel, específicamente GPUs de NVIDIA con arquitectura SM100 o SM103, como los encontrados en racks GB200 NVL72 o GB300 NVL72. Además, se necesitan versiones actualizadas de Python (3.12 o superior), PyTorch (2.10 o más reciente) y el toolkit CUDA 13.0 o posterior. La eficiencia depende en gran medida de la sincronización entre GPUs, lo cual se logra mediante el uso de memoria simétrica en PyTorch. Esto significa que solo entidades con acceso directo a infraestructuras de cómputo de alto rendimiento, como laboratorios de investigación, startups enfocadas en modelos de IA, plataformas de nube de GPUs o centros nacionales de cómputo, pueden adoptarlo de forma práctica. Equipos con menos de ocho GPUs o operaciones a nivel individual no pueden implementarlo.
Las aplicaciones más relevantes de MoK se centran en fases críticas del desarrollo de modelos de IA, como el entrenamiento inicial y posterior de arquitecturas de tipo DeepSeek-V3. También es útil en procesos de aprendizaje por políticas (on-policy RL) y pruebas internas de ablation. Los sectores que más benefician son el desarrollo de modelos de inteligencia artificial, la infraestructura de nube de GPUs, herramientas de generación de código y el análisis cuantitativo. Aunque el enfoque es técnico, el impacto en la eficiencia de los procesos de IA es significativo. La investigación previa de Cursor se centró en el lado de cálculo, pero ahora se evidencia que las comunicaciones entre GPUs han pasado a ser el factor limitante. En los racks GB300 NVL72, donde se agrupan 72 GPUs en un solo dominio NVLink, se logra una superposición más fina del trabajo. Sin embargo, los procesadores Grace integrados son más lentos que las GPUs, lo que obliga a reducir drásticamente la sincronización entre CPU y GPU para evitar pérdidas de rendimiento.
Para los lectores peruanos, este avance representa una señal de que las capacidades de IA de vanguardia están cada vez más concentradas en infraestructuras de alto costo. Aunque el acceso directo a este tipo de tecnología sigue siendo limitado, el crecimiento de centros de cómputo en el país y el desarrollo de plataformas de nube pueden abrir caminos hacia su implementación más cercana. Los profesionales de finanzas, administración o inversión que utilicen herramientas de IA para análisis de datos podrían beneficiarse indirectamente, especialmente al acelerar la generación de modelos predictivos. El futuro de la IA en el mercado peruano dependerá en gran medida de cómo se transforme la accesibilidad de estas tecnologías.