Anthropic y OpenAI llevan meses sosteniendo que sus modelos ya aceleran la investigación en inteligencia artificial. Un experimento de la Universidad de Princeton y el UK AI Security Institute puso esa afirmación a prueba con un método nuevo y el resultado es contundente: los modelos frontera actuales manejan la ingeniería de investigación, pero fallan justamente en las partes del proceso que definen si un trabajo es publicable.
Los autores parten de una crítica al estado del arte. La evidencia sólida sobre investigación automatizada, señalan, ha estado casi ausente: las evaluaciones existentes o miden tareas estrechas y verificables, o mandan papers generados por IA a revisión por pares, un proceso que los investigadores describen como "sobrecargado, estocástico y con mala calidad de revisión".
¿Qué es la "Shadow Evaluation"?
El método propuesto se llama Shadow Evaluation y es elegante en su simplicidad. Un agente recibe la pregunta central de investigación de un paper inédito. Los autores originales, que dedicaron meses a esa misma pregunta, evalúan después el resultado del agente como si fueran revisores de conferencia. Como los resultados todavía no están en la web, el agente no puede apoyarse en su data de entrenamiento.
El equipo trabajó con los autores de dos envíos a NeurIPS 2026. El primero estudia cómo dirigir los rasgos de personalidad de los modelos de lenguaje a través de sus pesos. El segundo desarrolla un método sobre TabPFN que detecta cuándo un modelo de predicción tabular se topa con datos de despliegue muy distintos a los de entrenamiento y se desploma en precisión.
Los experimentos principales usaron Claude Opus 4.8 con razonamiento Extra-High. Cada agente recibió:
- Seis días de plazo
- 3.000 dólares en créditos de API
- Presupuesto de GPU y acceso completo a una máquina virtual y a la web abierta
- Herramientas externas de revisión con IA
El agente corrió dentro de un scaffold, un entorno de software que orquesta las llamadas al modelo y le entrega herramientas, permitiéndole delegar en subagentes y monitorear su propio consumo de recursos. Los investigadores usaron OpenClaw, un framework de agentes de código abierto y neutral respecto del proveedor, creado por el desarrollador austríaco Peter Steinberger, que se sumó a OpenAI este año. El agente principal lanza subagentes y trabajos largos de GPU, con un latido automático del scaffold que lo despierta cuando esos trabajos terminan para que recoja resultados.
Reject y Strong Reject
Los autores originales revisaron los papers terminados como revisores de conferencia y rechazaron ambos. Uno recibió un Strong Reject. Criticaron datos y experimentos mal motivados, prosa ilegible y ausencia de contribuciones nuevas. Un revisor calificó el razonamiento como una falacia de "demostración por ejemplo" que era "altamente no científica". Otro describió las elecciones experimentales como "bizarras" y los resultados como producto evidente de "decisiones post hoc".
Los modos de falla que se repiten
El análisis de los registros de los agentes revela debilidades sistemáticas, no accidentes puntuales.
Falta de criterio. Los agentes generaban hipótesis plausibles pero las descartaban apoyándose en conjuntos de datos pequeños, curados a mano o sintéticos. No tenían noción de qué cumple el estándar de investigación publicable.
Cero creatividad ante el fracaso. Cuando una hipótesis inicial quedaba falsada, los agentes estrechaban las afirmaciones existentes en lugar de abrir direcciones nuevas. Sus propias revisiones internas con IA no devolvieron ni un solo Accept en quince rondas de revisión, y aun así los agentes nunca abordaron la crítica de fondo.
Incapacidad de retroceder. Ambos abandonaron sus objetivos más ambiciosos dentro de las primeras diez horas. En la corrida de Personas, el agente terminó su fase de exploración a las cinco horas pese a haber presupuestado entre 36 y 48 horas para esa etapa.
Pésima conciencia de recursos. Las dos corridas terminaron con menos de la mitad del presupuesto de API gastado: la de Personas cerró en 1.130 de 3.000 dólares. Un agente declaró el proyecto completo siete horas antes del plazo, poco después de que su propio revisor devolviera otro Reject. El detalle es que podía consultar su consumo en cualquier momento.
Deriva de instrucciones. Los agentes olvidaban gradualmente instrucciones explícitas a lo largo de un contexto largo. Ambos papers excedieron los límites de extensión y habrían sido rechazados de plano en NeurIPS. Uno no incluyó ninguna visualización en el texto principal, mientras que el original escrito por humanos tenía 15 figuras. Meta AI describió hace poco un fenómeno cercano al que llamó "decaimiento del estado conductual", donde un agente reconoce un requisito al principio y lo viola más tarde mientras arregla un bug no relacionado.
Lo que sí funcionó
Conviene ser justos con el resultado: los agentes manejaron todo el trabajo de ingeniería sin ayuda humana. Corrieron búsquedas bibliográficas, depuraron código de GPU, completaron cientos de experimentos y pruebas de robustez, y compilaron papers completos en LaTeX. Solo hicieron falta tres intervenciones humanas: arreglar un bug del scaffold, extender un plazo y pedir una reescritura por legibilidad.
Los investigadores tampoco encontraron reward hacking significativo. Los agentes no manipularon resultados ni sesgaron datos para perseguir mejores puntajes. Hicieron lo contrario: partieron con afirmaciones ambiciosas y las corrigieron hacia resultados negativos.
Para verificar que los hallazgos no fueran un artefacto del software, el equipo repitió un experimento con GPT-5.6 Sol y el scaffold Codex de OpenAI. Aparecieron casi todos los mismos modos de falla. GPT-5.6 quemó los 3.000 dólares en poco más de dos días, lo que derivó en experimentos subdimensionados.
Comparación: lo prometido versus lo medido
| Afirmación de los laboratorios | Lo que midió el estudio |
|---|---|
| Anthropic, "When AI Builds Itself" (junio): aceleración interna de investigación | Dos papers autónomos, ambos rechazados por sus autores originales |
| OpenAI: GPT-5.6 Sol ayudó en el post-entrenamiento de un modelo menor y ahorró semanas | La contribución no aparece mencionada en la system card de 81 páginas |
| Sakana AI: The AI Scientist-v2 logró aceptación en un workshop de ICLR 2025 | Puntaje promedio 6,33 y retirado tras revisión por errores de citación |
Ese último punto merece contexto. Las tasas de aceptación de workshops corren entre 60% y 70%, muy por encima del 20% a 30% de las conferencias principales. La Shadow Evaluation esquiva ese problema devolviendo la evaluación a los autores originales.
¿Más cómputo arreglaría esto?
Más esfuerzo de razonamiento sí mejoró la calidad, según mostraron pruebas preliminares sin razonamiento. Pero los investigadores sospechan que más tiempo o más cómputo no cambiarían mucho el panorama: las objeciones de los revisores apuntaban a la calidad de las elecciones experimentales, no a su cantidad.
Los autores son cautos con el alcance. El estudio cubre solo dos papers y los revisores no estaban ciegos: sabían cuál era su propia pregunta de investigación y que evaluaban trabajo generado por IA. Pero los resultados fueron tan claramente débiles que esas limitaciones difícilmente cambien el cuadro general. El equipo publicó en línea las revisiones expertas, los registros y los repositorios de los agentes para que otros investigadores juzguen por su cuenta.
Deducción sí, abducción no
La crítica conceptual crece junto con la evidencia empírica. Tom Zahavy, de Google DeepMind, sostiene en el paper de posición LLMs can't jump que los modelos de lenguaje carecen del mecanismo cognitivo para crear algo genuinamente nuevo. The AI Scientist solo recombina conceptos existentes, escribe, mientras que AlphaEvolve de DeepMind destaca en optimización pero necesita una señal de error clara para funcionar.
Los avances matemáticos recientes parecen contradecir esa visión, pero probablemente no lo hacen. En mayo, un modelo de razonamiento de OpenAI refutó una conjetura sobre geometría de distancias unitarias que Paul Erdős había planteado en 1946. El medallista Fields Tim Gowers calificó el resultado como un "hito en matemáticas con IA". Poco después, Claude Mythos resolvió el mismo problema con lo que el ingeniero de Anthropic Sholto Douglas describió como una "demostración simple y elegante". OpenAI confirmó luego Astra, una nueva familia de modelos que según la empresa resolvió diez problemas abiertos en matemáticas y ciencias de la computación teórica donde el campo llevaba al menos una década atascado.
La distinción es la clave del asunto. Las demostraciones matemáticas son deducción: derivar conclusiones necesarias a partir de reglas fijas o buscar sistemáticamente en espacios grandes de soluciones. Es impresionante, pero es exactamente para lo que están construidos los modelos frontera. La investigación exige además abducción, el salto creativo que inventa una causa para explicar un fenómeno sorprendente. Formular preguntas de investigación nuevas, diseñar los experimentos correctos y extraer conclusiones sólidas de los resultados siguen siendo cosas que los modelos de hoy no pueden hacer.
¿Qué significa esto para quien trabaja con agentes?
Para equipos técnicos en Chile y la región el hallazgo práctico no es "la IA no sirve", sino dónde poner la supervisión. El estudio dice que la capa de ejecución (código, experimentos, depuración, compilación) se puede delegar con alta confianza, y que la capa de decisión (qué preguntar, qué experimento vale, cuándo cambiar de rumbo) sigue siendo humana. Un agente que gasta un tercio de su presupuesto y se declara listo siete horas antes es un problema de criterio, no de capacidad.
