Segun arXiv q-fin, un estudio reciente examina la efectividad de distintos sistemas de inteligencia artificial para evaluar metanálisis en economía. Los investigadores analizaron 44 publicaciones que ya habían sido registradas previamente, evaluando tres versiones de informes generados por inteligencia artificial. Cada informe fue diseñado con una estructura y longitud uniformes, y los autores de los trabajos fueron puestos a votar sobre cuál de los tres reportes les resultaría más útil para mejorar sus propias investigaciones. El informe que recibió mayor preferencia fue el generado por un modelo único, que superó en 0.66 puntos al sistema "mad-research" (intervalo de confianza: 0.32 a 1.00) y en 0.57 puntos al "paper-workshop" (0.16 a 0.95). Sin embargo, este último utilizó aproximadamente treinta veces más recursos computacionales, lo que indica una desigualdad en el costo de producción.
Los autores que recordaron haber recibido una evaluación de un revisor editorial de revista, generalmente colocaron ese informe en la primera posición y nunca lo situaron en el último lugar. En una prueba independiente, tres modelos de inteligencia artificial evaluaron los mismos informes, y en casi todos los casos, el informe real del revisor editorial fue clasificado como el último. Este hecho revela una notable brecha entre la percepción humana y la interpretación automática de la calidad académica. De los tres informes, el modelo Gemini —que no participó en la redacción de ninguno— habría asignado a "paper-workshop" la posición superior, lo que contradice la preferencia de los autores originales.
Este hallazgo sugiere que las herramientas de inteligencia artificial, aunque eficaces en tareas de generación, no capturan adecuadamente la experiencia humana en la evaluación de trabajos académicos. La valoración de un informe no se limita a su estructura técnica o su coherencia lógica, sino que incluye criterios subjetivos como la profundidad del análisis, la familiaridad con el campo y la conexión con el proceso de revisión real. Cuando un modelo no ha participado directamente en la creación del contenido, su juicio puede parecer más objetivo, pero en realidad puede distorsionar la percepción del valor real del trabajo.
Para lectores peruanos, este estudio es especialmente relevante en contextos donde se construyen políticas públicas o se evalúan proyectos de investigación en sectores como la educación, la salud o el desarrollo sostenible. Aunque las herramientas tecnológicas pueden acelerar el proceso de redacción o de revisión, no deben sustituir a los expertos que conocen el contexto, las necesidades del público y las particularidades del campo. La experiencia humana, especialmente en disciplinas con alto grado de especialización, sigue siendo un pilar clave en la calidad de la producción académica y, por extensión, en la toma de decisiones que impactan la sociedad. Invertir en juicios humanos, incluso cuando se acompañan de tecnologías, garantiza que las evaluaciones no solo sean técnicamente precisas, sino también contextualmente significativas.