Según MarkTechPost (AI/ML News), un equipo de investigadores de ByteDance Seed, la Universidad de Tecnología y Diseño de Singapur, el Instituto de Tecnología de Georgia, M-A-P y TokenWave.AI ha propuesto un nuevo marco para evaluar la capacidad de los modelos de lenguaje para diseñar y mejorar sus propios sistemas de ejecución. Este enfoque, denominado HarnessDev, desafía la tradición de evaluar solo la respuesta final de un modelo, centrando la medición en el propio código que el modelo genera para resolver tareas.
El sistema se divide en dos fases: creación y evolución. En la primera, cada modelo recibe una semilla básica: funciones pasivas para buscar, procesar y escribir resultados, sin ciclos, planificadores, verificadores ni reglas de detención. Este estado inicial no logra resolver ninguna tarea, registrando cero porcentaje de éxito en todas las pruebas. Los desarrolladores reciben especificaciones de tareas, guías breves y ejemplos prácticos, con los que construyen un sistema completo. Una vez finalizado, este sistema se congela y se oculta de tareas futuras. En la segunda fase, el modelo reutiliza su código inicial y lo modifica mediante retroalimentación obtenida de 100 tareas del conjunto SWE-bench Pro y todos los 89 desafíos del Terminal-Bench 2.1. Cada candidato debe cumplir ambas evaluaciones como pares, bajo un presupuesto de 10 pares y hasta dos pruebas de cinco tareas entre pares. Finalmente, los sistemas son sometidos a 630 tareas no vistos previamente en el conjunto SWE-Pro, donde se miden tanto su capacidad de completar tareas como su eficiencia en el uso de tokens de ejecución.
Los modelos probados fueron: Opus 4.8, GPT-5.5, Gemini 3.1 Pro, DeepSeek V4 Pro, Qwen 3.7 Max y Seed 2.0 Pro, todos ejecutados dentro del entorno Claude Code 2.1.177 (con GPT-5.5 usando Codex 0.144.3). El escenario incluyó cinco benchmarks en cuatro dominios, sumando un total de 2.207 instancias: 731 del SWE-bench Pro (división pública), 89 del Terminal-Bench 2.1, 75 del MLE-bench, 46 del EQ-Bench3 y 126 del BrowseComp.
Para el lector peruano, este avance refleja cómo las tecnologías de IA están pasando de ser herramientas pasivas a actores activos en la creación de procesos. Si bien los modelos aún no alcanzan niveles de autonomía operativa, su capacidad para diseñar y ajustar sus propios mecanismos de ejecución sugiere futuras aplicaciones en áreas como la automatización de servicios financieros, el desarrollo de software para pymes o la gestión de procesos administrativos. Estos avances podrían permitir a empresas locales, incluso sin grandes equipos técnicos, integrar sistemas más inteligentes que aprenden y se adaptan a sus necesidades específicas, reduciendo dependencia de intervenciones humanas en tareas repetitivas.