Según MarkTechPost (AI/ML News), una evaluación exhaustiva de cuatro agentes de código —Mistral Vibe for Code, Claude Code, Cursor y OpenAI Codex— se basa en una tarea práctica de ingeniería real: desarrollar una funcionalidad desde cero hasta su integración en un repositorio, incluyendo generación de código, pruebas automatizadas y apertura de una solicitud de código (pull request). La prueba se estructura en tres fases definidas: scaffold (estructuración del código), generación y ejecución de pruebas, y entrega final mediante una solicitud de cambio. Cada agente es calificado en cinco dimensiones, con una puntuación máxima de 25 puntos, basada en funcionalidades documentadas, benchmarks oficiales y especificaciones de los proveedores, todos validados el 14 de julio de 2026.
La puntuación final de Mistral Vibe for Code es de 22 puntos sobre 25. Este sistema, anteriormente conocido como Le Chat, opera mediante una interfaz de línea de comandos abierta, disponible bajo licencia Apache 2.0 en GitHub. Su desempeño se mide en la capacidad de generar estructuras de código coherentes, ejecutar pruebas unitarias e integradas y gestionar el flujo de entrega de manera autónoma. Los resultados indican una sólida cobertura en el diseño de componentes (como rutas, modelos de Pydantic y capas de servicio) y en la generación de pruebas, aunque no alcanza la eficiencia total en flujos asincrónicos o en entornos de desarrollo complejos. Los datos provienen de fuentes oficiales del proveedor, aunque no han sido verificados independientemente.
La comparación no busca una victoria absoluta, sino una medición objetiva de capacidades en un escenario real. Es clave entender que los benchmarks utilizados —SWE-bench Verified, SWE-Bench Pro y Terminal-Bench— no son homogéneos en dificultad ni en metodología. Cada uno evalúa distintos niveles de complejidad, y no deben ser combinados como una única escala. Además, los datos de costos y accesibilidad son declaraciones directas de los fabricantes, sin validación externa. Los productos evolucionan constantemente: los modelos y sus configuraciones pueden cambiar en semanas. Por tanto, los resultados deben interpretarse como una instantánea de un momento específico.
Para los profesionales del sector peruano, esta evaluación revela que los agentes de código no son solo herramientas de automatización, sino plataformas que transforman el proceso de desarrollo. En entornos como el de Startups en Lima, donde el tiempo y los recursos son escasos, un agente que puede estructurar una funcionalidad en minutos, ejecutar pruebas y entregar una solicitud de cambio sin intervención humana, puede ser un aliado estratégico. Sin embargo, la elección debe considerar no solo el rendimiento técnico, sino también la visibilidad del código, el acceso a la licencia y la capacidad de integración con entornos existentes. En un contexto donde la innovación tecnológica avanza rápidamente, el control sobre los procesos de desarrollo se vuelve un factor clave de sostenibilidad y calidad.