Segun MarkTechPost (AI/ML News), investigadores de la Universidad de Tsinghua y de la Universidad de Hong Kong han lanzado AKV, un sistema de servicio abierto para la ingeniería de cachés de memoria en agentes de inteligencia artificial basados en lenguaje. El sistema no incluye pesos ni entrenamiento, sino que permite a los agentes gestionar directamente su memoria de caché, eliminando selecciones específicas y reutilizando el resto sin necesidad de recomputar. Este enfoque permite reducir significativamente el costo operativo y mejorar la calidad de respuesta en pruebas de rendimiento.
El sistema fue probado en tres modelos de lenguaje: GPT-OSS-120B (con 5.1 billones de activos), MiniMax-M2.7 (230 billones totales, 10 billones activos) y MiroThinker-1.7-Mini (30 billones totales, 3 billones activos). Los resultados muestran una disminución promedio del 27.7% en el costo total por tarea, mientras que la puntuación media en pruebas aumenta 1.7 puntos. En entornos de GPU, AKV se ejecuta a través de SGLang, utilizando arquitecturas NVIDIA, con pruebas realizadas en 8 tarjetas A800 de 80 GB en precisión BF16. En una configuración básica, el modelo GPT-OSS-120B puede ser servido en solo dos GPUs con paralelización tensorial de 2.
Los datos más destacados revelan que el costo por tarea oscila entre 20 y 9.7 centavos, mientras que la puntuación varía desde 40 hasta 43.2 puntos. Sin embargo, en pruebas como BrowseComp-Plus, el modelo MiniMax-M2.7 alcanza una puntuación de 58.9, lo que representa una diferencia de 3.4 puntos respecto al estándar de Text Engineering (62.3). Este desempeño indica que el sistema no uniformemente mejora todos los modelos, lo cual debe ser considerado al evaluar su aplicación en entornos comerciales.
La diferencia clave entre ingeniería de contexto y cache engineering radica en la forma en que se maneja la historia de interacciones. En ingeniería de contexto, el sistema resume o modifica el historial completo, lo que obliga a reestructurar todos los estados posteriores. En cambio, el cache engineering mantiene la secuencia textual original, solo reorganizando qué datos quedan accesibles para la atención. Esto permite conservar información de rondas intermedias que de otro modo serían perdidas en resúmenes automáticos.
Para el lector peruano, este avance en IA agente tiene implicaciones directas en el desarrollo de soluciones tecnológicas locales. Aunque aún no se han implementado en mercados emergentes, el modelo de reducción de costos y mantenimiento de calidad puede ser clave para empresas que operan con presupuestos limitados. En un entorno donde el acceso a hardware de alto rendimiento es escaso, herramientas como AKV ofrecen una vía para optimizar el uso de recursos sin sacrificar la precisión. La disponibilidad de código bajo licencia Apache-2.0 también facilita su adaptación por desarrolladores peruanos, promoviendo la innovación tecnológica en el sector privado y público.