Segun MarkTechPost (AI/ML News), el equipo de Cohere AI ha presentado "North Mini Code", un modelo de inteligencia artificial especializado en programación, diseñado para ser accesible a desarrolladores sin necesidad de infraestructura de alto rendimiento. Este modelo, de 30 billones de parámetros, activa solo 3 billones por token, lo que permite una ejecución eficiente en dispositivos con una sola GPU H100, bajo condiciones de precisión FP8. La arquitectura, basada en un modelo decodificador de Transformer, integra capas de mezcla de expertos (MoE) con una relación de atención de 3:1 entre ventana deslizante y atención global. El uso de RoPE para posiciones en atención local y la ausencia total de embeddings posicionales en la atención global optimiza el rendimiento y reduce el consumo de recursos.
El modelo se enfoca en tres tareas clave: generación de código, ingeniería software agente y ejecución de comandos en terminal. Su interfaz es text-in / text-out, sin soporte para imágenes o video. El tamaño del contexto alcanza 256 mil tokens, mientras que la longitud máxima de salida es de 64 mil tokens. Los pesos están disponibles bajo licencia Apache 2.0 en Hugging Face, y también pueden accederse vía la API de Cohere, el repositorio Model Vault o la plataforma OpenRouter. La estructura interna incluye 128 expertos en la capa de feed-forward, de los cuales solo ocho se activan por token. Cada uno emplea una función de activación SwiGLU, y el mecanismo de selección de expertos utiliza una función sigmoide antes de aplicar un top-k. Antes de las capas esparsas, se encuentra una capa densa que ayuda a equilibrar el rendimiento y el uso de potencia computacional.
Este avance representa una respuesta directa a la demanda creciente de soluciones de inteligencia artificial que no dependan de infraestructuras centrales o de grandes clusters de GPUs. Al permitir que equipos pequeños o medianos gestionen modelos de alto rendimiento en su entorno local, se abre el camino a una mayor autonomía tecnológica. Para el lector peruano, especialmente en sectores como tecnología, fintech o startups, esto implica la posibilidad de integrar modelos de inteligencia artificial en entornos internos sin requerir inversiones excesivas en hardware. Aunque el acceso inicial se centra en profesionales de desarrollo, el crecimiento de esta tecnología puede acelerar la innovación en pymes y universidades, facilitando el diseño de soluciones personalizadas sin depender de proveedores externos. La evolución hacia modelos más ligeros y autónomos no solo reduce costos, sino que también fortalece la capacidad de los actores locales para tomar decisiones tecnológicas con mayor independencia.