Según Google Research, una nueva metodología permite integrar la predicción de múltiples tokens en modelos de lenguaje ya entrenados y fijos, como el Gemini Nano v3, sin necesidad de reentrenarlos. Esta técnica, que se aplica directamente sobre arquitecturas existentes, permite que las aplicaciones de inteligencia artificial funcionen con mayor rapidez y eficiencia en dispositivos móviles. La innovación se fundamenta en componentes estructurales diseñados para optimizar el uso del procesamiento local, reduciendo así el consumo de energía y la sobrecarga de memoria. Este avance resuelve un límite clave en la inferencia de modelos en dispositivos con recursos limitados, como teléfonos inteligentes.
El desafío principal radica en que los modelos tradicionales de lenguaje generan texto de forma autoregresiva: procesan un solo token a la vez. Este proceso, aunque efectivo en entornos centrales, se vuelve lento y ineficiente en dispositivos móviles donde el consumo energético y el acceso a memoria RAM son escasos. Cada palabra generada implica una carga significativa en el sistema, lo que puede provocar retrasos en funciones cotidianas como resumir notificaciones o corregir textos. La nueva arquitectura, basada en estudios previos como EAGLE y CALM, permite que el modelo proyecte múltiples tokens simultáneamente, sin necesidad de modificar el modelo original. Así, se logra una aceleración notable en la respuesta, sin comprometer la calidad del contenido generado.
Este avance ya está disponible en los dispositivos Pixel 9 y 10, donde se activa de forma automática. Los usuarios experimentarán mejoras tangibles en funcionalidades como la resumen automático de notificaciones o el corrector de texto, con tiempos de respuesta más cortos y un uso más sostenible de la batería. El modelo no requiere actualizaciones manuales, lo que lo hace accesible desde el primer momento de uso. La capacidad de ejecutar inferencia en local también garantiza que los datos personales no se transmitan a servidores externos, manteniendo la privacidad del usuario.
Para el lector peruano, este desarrollo tiene implicaciones prácticas y directas. Muchos usuarios del mercado peruano dependen de teléfonos móviles para gestionar sus actividades diarias, desde el manejo de mensajes hasta el seguimiento de notificaciones de servicios públicos. La capacidad de que su dispositivo procese tareas de inteligencia artificial en tiempo real, sin necesidad de conexión constante a internet, representa un paso clave hacia una experiencia más fluida y segura. Además, al reducir el consumo de batería, los dispositivos se mantienen más eficientes en entornos donde la carga es recurrente. Esto no solo mejora el día a día, sino que también refuerza la autonomía tecnológica de los usuarios, especialmente en zonas con conectividad limitada.