Segun MarkTechPost (AI/ML News), Perplexity en colaboración con el equipo de NVIDIA ha desarrollado JOLT, una técnica innovadora de entrenamiento posterior en modelos de lenguaje. Este enfoque, conocido como Joint On-policy Learning and Teaching, permite a un solo modelo asumir simultáneamente los roles de instructor y alumno. En este diseño, el modelo instructor accede a información privilegiada que el alumno no puede ver, lo que permite una transferencia de conocimiento más eficaz. La innovación clave radica en que el instructor también se entrena, asegurando que sus retroalimentaciones sigan siendo útiles y relevantes durante el proceso de aprendizaje.
La metodología fue validada en múltiples arquitecturas, incluyendo Qwen3-0.6B, Qwen3-4B-Instruct, Qwen3-8B, Qwen3-30B-A3B-Instruct y DeepSeek-V2-Lite. No requiere la ejecución de modelos separados, ya que el mismo modelo desempeña ambas funciones, lo que reduce significativamente los costos de infraestructura. En pruebas comparativas, JOLT alcanzó un rendimiento equivalente al de GRPO en el conjunto MATH, pero con un 6.5 veces menor número de tokens procesados durante el entrenamiento. En el test AppWorld, el modelo JOLT+ obtuvo una tasa de pasaje del 72.09%, frente al 62.20% registrado por GRPO, lo que representa una mejora de 9.9 puntos. En contraste, cuando JOLT fue evaluado sin el mecanismo de recompensa del alumno, su precisión descendió hasta un 51.92% en AppWorld, por debajo del rendimiento de GRPO.
Este avance resuelve una limitación crítica en los métodos de aprendizaje por recompensa (reinforcement learning), donde señales de éxito son escasas y dispersas. En particular, los sistemas como GRPO entregan una recompensa solo por cada intento, generando retroalimentaciones poco informativas. JOLT mejora esta situación al mantener una cadena de enseñanza continua, donde el instructor se adapta y proporciona retroalimentación más consistente y útil. Esta característica es clave para el desarrollo de modelos que puedan operar de forma autónoma en entornos complejos, como el análisis de documentos o la resolución de tareas técnicas.
Para los inversionistas y profesionales del sector peruano, este desarrollo representa una señal de que los modelos de lenguaje están avanzando hacia soluciones más eficientes y escalables. Aunque el costo de hardware aún no está disponible públicamente, la reducción en el uso de tokens durante el entrenamiento implica una disminución directa en el consumo de recursos computacionales. Esto puede traducirse en menores costos de operación para empresas que implementen inteligencia artificial en sus procesos internos, como la gestión de documentos, atención al cliente o análisis de datos. En un contexto donde el acceso a tecnologías avanzadas sigue siendo un desafío, innovaciones como JOLT demuestran que se pueden lograr avances sustanciales sin aumentar excesivamente el gasto tecnológico.