Segun MarkTechPost (AI/ML News), Cohere ha presentado North Small Translate, un modelo de traducción automática abierto desarrollado en colaboración con Cohere Labs. Este sistema se basa en una arquitectura de modelo de mezcla esparsa (MoE), con un total de 218 mil millones de parámetros y 25 mil millones activos en ejecución. El modelo abarca 50 idiomas, desde el albanés hasta el vietnamita, y alcanza una puntuación promedio de 83.6 en la evaluación WMT26, superando a aplicaciones comerciales como DeepL y Google Translate, así como a opciones abiertas como GLM 5.2 y Mistral Large 3.
La solución se estructura como un modelo decodificador exclusivo, con 128 expertos, donde cada token activa solo ocho de ellos, además de una capa compartida aplicada a todos los tokens. El sistema utiliza un router basado en una función sigmoide que normaliza los logits de los expertos seleccionados, priorizando los más relevantes. En cuanto a atención, el modelo combina capas de ventana deslizante (de 4096 tokens con RoPE) y capas globales sin embeddings posicionales, alternándose en una proporción 3:1. Este diseño de atención fue previamente utilizado en el modelo Command A Translate, consolidando una evolución continua dentro de la línea multilingüe de Cohere. El modelo maneja 16 mil tokens de entrada y 16 mil de salida, limitado exclusivamente al texto. Su entrenamiento se enfoca específicamente en optimizar la calidad de traducción, tras un proceso de post-entrenamiento.
La iniciativa se posiciona como una respuesta directa a los desafíos de comunicación internacional, destacando que las organizaciones que no pueden intercambiar información en múltiples idiomas pierden su capacidad de soberanía operativa. North Small Translate constituye el primer modelo de la familia North de Cohere, sucesor de Tiny Aya y Command A Translate. Su desarrollo se apoya en la experiencia técnica de RWS, especialmente en el equipo de científicos de lenguaje y expertos en aplicaciones reales.
Para el lector peruano, este avance tiene un significado práctico inmediato. En un contexto donde el país cuenta con una diversidad lingüística amplia —de quechua a español, pasando por comunidades indígenas—, la disponibilidad de un modelo de traducción de alto rendimiento, abierto y escalable, puede transformar el acceso a información técnica, financiera o legal. Las empresas locales, especialmente en sectores como comercio, salud o educación, podrían integrar esta tecnología para facilitar el trabajo multilingüe sin depender de plataformas externas. Además, la posibilidad de usar el modelo de forma gratuita a través de la API, o incluso en entornos locales sin conexión a internet, abre puertas a soluciones más inclusivas y autónomas, alineadas con el desarrollo nacional de tecnologías digitales.