Segun arXiv q-fin, el rendimiento de los modelos de inteligencia artificial se mide hoy principalmente mediante benchmarks, estructuras que evalúan la capacidad de los sistemas. Sin embargo, un nuevo estudio señala que la credibilidad de estos instrumentos no depende solo de la tecnología, sino de la calidad de la juicio humano que los ha diseñado. A medida que los modelos avanzan, su rendimiento se estabiliza en tareas sencillas, mientras que las pruebas más difíciles —aquellas que requieren un conocimiento especializado y experto— se vuelven el único espacio donde se observa una diferencia real entre modelos. Este fenómeno se conoce como el problema de la cumbre en los benchmarks: a medida que los modelos dominan la mayoría de las pruebas fáciles, el valor discriminador se concentra en un pequeño grupo de ítems, creados por pocos evaluadores altamente calificados.
El análisis se estructura en tres etapas. Primero, se construye un modelo matemático que explica cómo la precisión de los benchmarks disminuye cuando los modelos se vuelven más avanzados. Cada puntuación publica refleja la calidad oculta de un modelo, pero su fiabilidad depende internamente de la validez de la prueba. A medida que el nivel de habilidad de los modelos aumenta, y los casos de manipulación o optimización estratégica crecen, los benchmarks pierden sensibilidad. El modelo indica que el valor real de una prueba se encuentra en su parte más difícil, y que la inversión necesaria para desarrollar esas pruebas aumenta de forma convexa con el progreso de la tecnología. Además, los productores privados de benchmarks no invierten lo suficiente en calidad, comparado con el nivel óptimo para la sociedad.
Luego, se analizan datos de más de mil profesionales certificados, extraídos de una plataforma especializada (micro1), que revelan un "premio de escasez" asociado al trabajo humano de alta calidad y baja codificación. Esto significa que los expertos que diseñan estas pruebas no son muchos, y su labor se valora menos en el mercado, lo que genera una brecha entre la oferta real y la necesidad de evaluación robusta.
En el contexto peruano, este hallazgo es especialmente relevante. Nuestro sistema de educación y formación técnica, aunque en crecimiento, aún no produce una cantidad suficiente de profesionales altamente especializados en áreas de evaluación técnica y crítica. Los sectores de inversión, finanzas o gestión de riesgos, donde la toma de decisiones depende de juicios complejos, podrían verse afectados si los instrumentos de evaluación se basan en criterios que no reflejan la profundidad del conocimiento humano. Aunque las tecnologías digitales mejoran constantemente, la calidad del juicio humano sigue siendo el pilar central que sostiene la validez de los sistemas de toma de decisiones. Por ello, es clave que instituciones, empresas y gobiernos promuevan formación en pensamiento crítico y evaluación profunda, no solo como habilidad, sino como activo estratégico.