Segun MarkTechPost (AI/ML News), un investigador de la Universidad de Princeton ha presentado una innovación en el diseño de modelos de inteligencia artificial, propuesta bajo el nombre de Recurrent Looped Transformer (RLT). Esta propuesta busca resolver un límite crítico en los modelos de lenguaje actualmente en uso: la falta de conexión entre tokens consecutivos en la capa de decodificación. En los sistemas tradicionales, la información generada en la última capa de un token no se transmite al primer bloque del siguiente token, limitando así la coherencia y el razonamiento a lo largo de una secuencia. El RLT introduce un mecanismo que mantiene el estado completo del decodificador, incluyendo la memoria de atención en ventanas deslizantes, desde el primer token hasta el último, sin interrupción en el flujo.
La arquitectura combina un codificador causal con un decodificador recurrente. El codificador procesa cada token simultáneamente bajo una máscara causal, generando representaciones e_t, que alimentan una memoria de claves y valores M≤t. Esta memoria puede ser compartida entre capas (G = 1) o mantenida por capa (G = L_D). El decodificador, en cambio, retiene su estado completo, H_t = (s_t, C_t_D), donde s_t es la salida final y C_t_D almacena las claves y valores de atención en cada capa. Cada token se procesa mediante una fusión gateada entre la entrada actual e_t y la salida previa s_{t-1}. Luego, cada bloque de decodificación ejecuta atención causal sobre activaciones, atención cruzada al codificador y una capa de transformación feedforward. La ventana de atención W incluye el token actual, permitiendo conservar como máximo W – 1 entradas históricas por capa. La distribución de próxima palabra se extrae directamente de s_t, y el sistema inicia con un estado inicial aprendido, s*, antes del comienzo de la secuencia. La configuración de referencia emplea 48 capas en codificador y 48 en decodificador, con pesos de atención y FFN compartidos entre ambos, lo que implica que cada token ejecuta 96 operaciones de bloque, sin reducción en el proceso.
Para el lector peruano, este avance representa una mejora potencial en la calidad y continuidad de las respuestas generadas por los modelos de lenguaje. En entornos como el servicio al cliente, la redacción de contratos o la generación de informes financieros, donde la coherencia entre frases es clave, el RLT podría permitir que las respuestas no pierdan contexto al avanzar. Aunque aún no se han medido resultados reales sobre eficiencia o precisión, su diseño teórico aborda un problema estructural que ha limitado el rendimiento de los modelos tradicionales. Este tipo de innovación, aunque aún en fase de investigación, es un paso significativo hacia sistemas que comprenden mejor la secuencia del lenguaje, lo que podría traducirse en asistentes más inteligentes y confiables en contextos de trabajo diario.