Un equipo encabezado por investigadores de la Universidad Carnegie Mellon, junto a científicos de los laboratorios nacionales del Departamento de Energía de EE.UU., armó un benchmark llamado Into the Unknown para medir si los agentes de IA pueden responder por su cuenta preguntas de investigación que nadie ha resuelto. Los agentes entregan papers que parecen investigación real, pero a menudo declaran trabajo que nunca hicieron.
Según el paper, ninguno de los 135 trabajos que entregaron nueve agentes actuales cumplió todos los requisitos. Los autores presentan el benchmark como un campo de pruebas para mejorar de forma sistemática a los agentes de investigación, y no como una forma de cuestionar si la IA tiene lugar en la ciencia.
Un total de 114 entregas ya fallan el chequeo de integridad. La mayoría declara trabajo que no se hizo o cita cifras que contradicen sus propios registros. Los agentes produjeron sin problema textos con apariencia de estudios de seguimiento, escriben los autores, pero ninguno alcanzó el estándar de los expertos.
Los expertos ponen la vara
Cada agente recibe un paper científico con su código y sus datos, además de una dirección de investigación. Algunos de esos papers ya están publicados y otros solo enviados a revisión. A partir de ahí, el agente tiene que hacer un estudio de seguimiento y redactarlo como paper.
Las 15 tareas vienen de diez investigadores de computación cuántica, física de plasmas, química, ciencia de materiales y aprendizaje automático científico. Las direcciones de investigación las propusieron los propios autores de los papers originales y, hasta donde ellos saben, todavía no hay nada publicado sobre esos temas.
La investigación abierta tiene un problema de base, que es la falta de una respuesta correcta para comparar. Los revisores automáticos con IA, muy usados para esto, se consideran poco confiables. Por eso los expertos definieron las condiciones mínimas que debe cumplir un estudio de seguimiento exitoso, y esas condiciones se convirtieron en rúbricas de calidad y de honestidad.
La evaluación revisa si una entrega es honesta, si está completa y si supera la vara de los expertos. La calificación la hace GPT-6 Astra, y cada entrega se juzga cuatro veces.
Los agentes probados fueron Claude Opus 4.8, Claude Opus 5, Claude Fable 5, Claude Opus 5.5, GPT-5.6 Sol, GPT-6 Astra, DeepSeek V4 Pro, Kimi K3 y GLM-5.3. Tuvieron acceso a máquinas potentes, conexión a internet, sin límite de tiempo y hasta cinco reinicios para mejorar su trabajo. En total corrieron cerca de 2.000 horas.
¿Qué agentes entregaron trabajo honesto?
Solo tres agentes lograron entregas sin violaciones de integridad. GPT-6 Astra lo hizo en 11 de 15 tareas, GPT-5.6 Sol en seis y Claude Opus 5.5 en cuatro. Todas las entregas de los otros seis agentes tuvieron al menos una violación.
| Agente | Tareas sin violaciones de integridad |
|---|---|
| GPT-6 Astra | 11 de 15 |
| GPT-5.6 Sol | 6 de 15 |
| Claude Opus 5.5 | 4 de 15 |
| Los otros seis agentes | 0 |
Los problemas más comunes fueron diferencias entre el paper y el código, cifras contradictorias y afirmaciones falsas sobre experimentos que supuestamente se hicieron. Los valores de referencia mal reportados se concentran en los modelos abiertos DeepSeek V4 Pro, Kimi K3 y GLM-5.3. Dos entregas con resultados escritos a mano en el código, en vez de calculados, vinieron de Kimi K3 y GLM-5.3.
Solo una entrega estuvo completa, y fue de GPT-6 Astra. Casi todas las demás dejaron fuera documentos exigidos, como un plan de experimentos registrado de antemano, y ningún agente superó la vara de los expertos. Con una calificación más permisiva, que acepta el 90% de los ítems de la rúbrica, GPT-6 Astra quedó más cerca, seguido por Claude Opus 5.5 y GPT-5.6 Sol. Los modelos abiertos rindieron bastante peor en general.
El script de verificación que se confirma a sí mismo
Los investigadores analizaron 64 registros de trabajo y encontraron tres fallas típicas. La más común, presente en 58 casos, es que los agentes revisan su propio trabajo con demasiada indulgencia. En 34 casos, el agente detecta un problema y lo documenta en vez de corregirlo. En 21 casos, reduce por su cuenta el alcance de la tarea.
Un ejemplo. Claude Fable 5 olvidó lanzar cuatro corridas planificadas al iniciar sus experimentos. Su script de verificación tomó esa misma lista incompleta y reportó "41/41" corridas completadas, y el agente confió en ese resultado hasta el final. En otra tarea, GPT-5.6 Sol notó que su método no alcanzaba las metas y escribió el paper igual, sin volver a empezar. DeepSeek V4 Pro abandonó experimentos porque supuestamente eran demasiado lentos para el "presupuesto de tiempo restante", aunque no había ningún límite de tiempo.
También hubo contraejemplos. En una tarea de computación cuántica, GPT-5.6 Sol detectó un error de fondo, detuvo los experimentos en curso y recalculó todo desde cero.
¿Ayuda darles más tiempo?
Correr más tiempo no mejoró los resultados. DeepSeek V4 Pro y GLM-5.3 fueron los que más tardaron, con medianas de 19,5 y 13,9 horas, y obtuvieron malos puntajes. GPT-6 Astra necesitó una mediana de solo 1,3 horas y entregó los mejores resultados.
Como el modelo más fuerte también hacía de evaluador, los investigadores hicieron una verificación cruzada. Los autores de los papers originales juzgaron ellos mismos los papers de IA, sin saber qué agente los había escrito. En la pregunta de si un paper seguía la dirección de investigación indicada, el sistema automático coincidió con los expertos en todos los casos.
En la calidad científica, en cambio, los juicios coincidieron solo en cerca de dos tercios de los casos. Un experto criticó, por ejemplo, que los papers no contaban una historia. Según los autores, ese tipo de juicio sigue siendo tarea de revisores humanos.
El código y los datos del estudio son públicos, y la página del proyecto tiene una tabla de clasificación de los modelos probados.
Lo que muestran otros estudios recientes
Los agentes de IA resuelven tareas científicas con cada vez más autonomía, pero sigue habiendo una distancia importante entre ejecutar experimentos y hacer investigación independiente. Un estudio de agosto ya había mostrado cuánto les cuesta a los agentes enfrentar preguntas de investigación no publicadas.
Epoch AI y Anthropic encontraron hace poco que los agentes tienden a presentar sus resultados de forma demasiado favorable y no cuestionan lo suficiente los enfoques que fallan.
El panorama es mucho mejor en tareas bien definidas. GPT-6 Astra resolvió 49 de 50 problemas no publicados de física teórica, aunque esas soluciones se podían verificar sin ambigüedad. Un análisis de más de 700 tareas de desarrollo de IA mostró además que los agentes asumen cada vez más trabajo práctico, mientras las decisiones clave de investigación las siguen tomando personas.
