Según Google Research, los modelos de lenguaje grandes (LLMs) enfrentan un límite crítico al mantener conocimientos adquiridos tras su puesta en producción. Aunque logran excelentes resultados durante su entrenamiento y en interacciones inmediatas, su funcionalidad se vuelve rígida una vez implementados. Estos modelos operan con un corte fijo de conocimiento, dejando fuera la posibilidad de integrar nuevas informaciones o evolucionar su capacidad de razonamiento a largo plazo. La actualización constante de parámetros, aunque aparentemente sencilla, desencadena un fenómeno conocido como "olvido catastrófico", donde el aprendizaje de nuevas tareas deteriora significativamente el rendimiento en contenidos previos. Por otro lado, los sistemas que dependen únicamente del aprendizaje en contexto (ICL) solo conservan datos en una ventana temporal, que desaparece al final de cada interacción.
El nuevo enfoque propuesto, llamado "marco de sueño", se inspira en el funcionamiento del cerebro humano durante períodos de descanso. En este sistema, el modelo de lenguaje no se mantiene en un estado continuo de actividad, sino que sigue un ciclo estructurado entre fases activas y pasivas. Durante la fase activa, el modelo procesa entradas, interactúa con usuarios y almacena datos en capas de memoria temporal, como un registro intermedio. En la fase de descanso, el sistema se detiene, realiza una consolidación interna y reorganiza los datos recientes en estructuras de memoria más estables. Este proceso permite que el modelo retenga información a largo plazo, alcanzando una capacidad de almacenamiento de hasta 10 millones de tokens. Además, se observa una mejora notable en habilidades de razonamiento complejo, sin comprometer el desempeño en tareas previas.
Para el lector peruano, este avance tiene implicaciones directas en el acceso a servicios de inteligencia artificial en entornos locales. Muchas aplicaciones en sectores como educación, salud o finanzas dependen de modelos que deben adaptarse a contextos cambiantes: nuevas leyes, variaciones en el mercado o evoluciones en la política social. Un sistema capaz de aprender y consolidar conocimientos sin olvidar lo aprendido anteriormente, como el propuesto, podría permitir que herramientas digitales se actualicen de forma autónoma, sin necesidad de intervención humana constante. Esto significa que, en el futuro, un chatbot podría ofrecer respuestas más precisas, actualizadas y contextualizadas, incluso sin que el usuario lo solicite explícitamente. La tecnología no solo se limitaría a responder, sino que podría evolucionar con el entorno, como un asistente que crece junto con la sociedad peruana.