Anthropic está usando IA para construir IA más capaz, y le está funcionando. Sus modelos mejoran cerca del doble de rápido que hace un año y no hay señales de que el ritmo se frene, según un informe que la organización de investigación en seguridad de IA METR publicó el jueves 5 de noviembre, tras una investigación de 11 semanas dentro de la empresa.
La evaluación revisó la investigación y el desarrollo de IA de Anthropic. Es independiente de un programa que ofrece a investigadores de seguridad un acceso a los sistemas "similar al de un empleado", creado después de los sonados incidentes de hackeo del verano boreal.
Los hallazgos son de las pruebas más directas hasta ahora de una IA que acelera su propio desarrollo. También abren la pregunta de cuán rápido podría llegar un escenario en que los sistemas se mejoren a sí mismos con poca o ninguna intervención humana. El informe llega en un momento delicado para Anthropic, que se prepara para salir a bolsa mientras su CEO, Dario Amodei, pide públicamente a los laboratorios frenar el desarrollo de la IA.
El documento muestra por dentro a uno de los laboratorios de IA más avanzados del mundo, y lo que deja fuera dice tanto como lo que incluye. El acuerdo con METR le permitía a Anthropic tachar partes del informe final, y la empresa usó ese poder con generosidad. Eso deja en duda cuánto sabe realmente el público sobre el ritmo de la IA de frontera y sobre sus riesgos.
Estos son los puntos principales.
¿Cuánto acelera la IA el trabajo de Anthropic?
El hallazgo que más llama la atención es que los modelos de Anthropic mejoran cerca del doble de rápido que hace un año. Los resultados en benchmarks sugieren, en palabras del informe, "que Anthropic ha logrado aproximadamente dos años de progreso histórico en el último año". Los investigadores de METR dijeron estar "seguros" de que la aceleración no se explica solo por usar más capacidad de cómputo para entrenar los modelos, que históricamente ha sido uno de los grandes motores del avance de la IA.
Según los investigadores, la mayor parte de la aceleración registrada a octubre "se debe a la IA", y su aporte crece con el tiempo. Ese hallazgo se apoyó en encuestas informales por Slack y en entrevistas con empleados de Anthropic, que describieron aumentos grandes de productividad. METR escribió que quienes usan el modelo interno más capaz de la empresa declaran, en promedio, ser unas 12 veces más productivos en su trabajo que sin ayuda de IA. Es cerca del doble de lo que el mismo personal reportaba pocos meses antes, cuando usaba Mythos 5.
Por ahora, buena parte de la aceleración viene de una IA que asiste a investigadores humanos y no de una IA que trabaja sola. METR advirtió, de todos modos, que "hay algunas señales de que las contribuciones totalmente autónomas pronto tendrán un papel mayor". Los investigadores tampoco encontraron indicios claros de rendimientos decrecientes ni cuellos de botella visibles que impidan "una aceleración aún más rápida".
Tres modelos nuevos que nadie fuera ha visto
Los investigadores de Anthropic trabajan con modelos más avanzados que los que tiene el resto del mundo. Gran parte de la aceleración y de las ganancias de productividad que describe METR se atribuye a modelos internos que no se han lanzado.
En los últimos seis meses, Anthropic terminó de entrenar tres modelos que todavía no publica, según METR. Sus nombres en clave son Model 2, Model 3 y Model 4, y completaron el entrenamiento en julio, en agosto y septiembre, y en septiembre y octubre, respectivamente. METR identificó además un modelo sin lanzar que data de 2022, llamado Unreleased 2022.
"Estos son los nombres en clave que se compartieron con nosotros; entendemos que tienen otros nombres en clave internos", escribieron los investigadores.
¿Qué información se guardó Anthropic?
Anthropic le dio a METR acceso a mucha información no pública, como investigación confidencial, datos de rendimiento de modelos y entrevistas con empleados. No tenía obligación de hacerlo y, según reconoce la propia METR, el laboratorio "compartió más información de la que se había previsto inicialmente para este proyecto, superando nuestras expectativas".
Ese acceso, con todo, no fue irrestricto. Tampoco fue el acceso "similar al de un empleado" que Anthropic prometió a otros investigadores de seguridad de METR en un programa aparte, anunciado el mes pasado. La diferencia pesa, porque una evaluación independiente le da prestigio a una empresa aunque venga con restricciones importantes.
Y las restricciones fueron importantes. Anthropic tenía la facultad de tachar información del informe final y la usó a fondo.
"Entregamos a Anthropic un informe completo de unas 100 páginas sobre nuestra evaluación. Para la versión pública, Anthropic tachó la mayor parte de la evidencia que nos pareció más informativa", escribió METR en X.
METR insistió en esa preocupación a lo largo del informe y señaló otros límites a su acceso.
"Nuestro canal de información fue relativamente estrecho, y se rechazó un pequeño número de nuestras solicitudes de datos."
La organización subrayó varias veces que las tachaduras afectaron su capacidad de comunicar los hallazgos y la de terceros para evaluar lo que ocurre en la empresa. Gran parte de la evidencia tachada admitía, según METR, "múltiples interpretaciones plausibles", lo que hace difícil que el público pondere los resultados, entienda sus incertidumbres y saque sus propias conclusiones. El informe atribuye a las tachaduras esta consecuencia.
"El público tiene que confiar en el juicio de METR mucho más de lo que sería ideal, dado el peso de las preguntas que aquí se responden."
Según el informe, Anthropic justificó las tachaduras con el argumento de que publicar esa información podría beneficiar a sus competidores. METR respondió que "la mayor parte de la información tachada era de muy alto nivel", aunque aclaró que no estaba en posición de opinar si las tachaduras se justificaban o no en términos comerciales.
"Tachamos mucho, y acepto que eso hace más difícil que otros verifiquen el trabajo de METR", reconoció Sam McCandlish, cofundador de Anthropic, en una larga publicación en X en respuesta a los hallazgos.
"Pero determinamos que compartir exactamente qué impulsa la aceleración no es lo correcto, tanto porque es comercialmente sensible como porque arriesga entregar una hoja de ruta para que otros vayan más rápido", dijo. Agregó que hacerlo empeoraría los riesgos que preocupan a METR.
McCandlish admitió que es un equilibrio difícil, pero sostuvo que Anthropic tomó "la decisión correcta" al tachar la información. Dijo que la empresa planea publicar "en las próximas semanas" su propio informe sobre la velocidad del progreso de la IA, junto con nuevas medidas para reforzar la seguridad.
Anthropic acelera la tecnología de la que advierte
La publicación del informe provocó una reacción dura entre investigadores y comentaristas de seguridad de IA. El centro de la crítica es una contradicción en el enfoque de Anthropic. La empresa ha sido de las voces más insistentes a favor de un desarrollo seguro y responsable, y el informe sugiere que está ayudando a acelerar la tecnología hacia un umbral que muchos consideran peligroso, sin cumplir del todo sus propios compromisos de transparencia y rendición de cuentas.
Para algunos, los hallazgos indican que incluso las predicciones más agresivas del sector sobre el progreso de la IA podrían quedarse cortas. Apuntan a que la automejora recursiva, es decir sistemas de IA capaces de desarrollar por su cuenta sucesores cada vez más capaces sin intervención humana, podría estar más cerca de lo que se pensaba. Eso abre la duda de si las medidas de seguridad actuales pueden seguirle el paso. El informe de METR cubre solo a Anthropic, pero OpenAI dijo en septiembre que está "avanzando con fuerza" hacia un investigador de IA capaz de "seguir progresando en aprendizaje profundo y alineamiento" para marzo de 2028.
¿Es más rápido de lo que se pronosticaba?
Marius Hobbhahn, CEO y fundador de Apollo Research, que hace pruebas de seguridad de IA para varios de los laboratorios principales, dijo a The Verge que el informe sugiere un ritmo de investigación y desarrollo impulsado por IA aún más rápido que el de AI 2027. Ese escenario, muy citado en el sector, prevé un avance decisivo hacia la automejora a comienzos de 2027. Según Hobbhahn, el informe atrajo tanta atención porque entrega evidencia sobre algo que ha sido muy difícil de medir, la velocidad con que la IA acelera su propio desarrollo.
Hobbhahn dijo que los hallazgos coinciden en general con lo que muchos en el campo esperaban, quizás un poco más rápido. Alan Chan, investigador sénior del centro de investigación en política tecnológica GovAI, dijo a The Verge que los resultados deberían llevar a los escépticos a revisar su postura sobre la IA que acelera el desarrollo de la IA. También podrían acortar sus plazos para la llegada de sistemas capaces de automatizar por completo tareas como la ingeniería de software.
En X, otros investigadores comentaron el ritmo de la aceleración y lo que implica. Sydney Von Arx, fundadora y CEO de la organización de seguridad de IA The Nightingale Collective y exinvestigadora de METR, también comparó los hallazgos con el calendario de AI 2027.
Ryan Greenblatt, investigador de METR que antes trabajó en la organización de seguridad Redwood Research, fue uno de los tres investigadores externos autorizados para investigar el hackeo de OpenAI a Hugging Face. Reconoció que "estaba muy equivocado sobre la velocidad de la automejora recursiva; antes esperaba mucho menos en 2026".
