Dario Amodei, director ejecutivo de Anthropic, pidió el 12 de septiembre poner un límite de velocidad al desarrollo de la inteligencia artificial, y apuntó en particular a los métodos que permiten a un modelo mejorarse a sí mismo. Lo escribió en una entrada nueva de su blog, que recogió The Decoder ese mismo día.
Su argumento arranca en un cambio de ritmo. Desde mediados de año, sostiene, el avance se aceleró porque la propia IA empezó a construir la generación siguiente de IA.
"Mi primera preocupación es que, desde aproximadamente este verano, la IA ha estado avanzando drásticamente más rápido, impulsada sobre todo por la creciente capacidad de la IA para construir la siguiente generación de IA", escribió Amodei.
Esa automejora recursiva está ocurriendo en toda la industria, según el texto, y puede terminar por superar la capacidad de los desarrolladores para entender y controlar sus propios sistemas. En OpenAI se están dando conversaciones parecidas sobre desacelerar, según reportes que cita The Decoder.
¿Qué evidencia usa para pedir el freno?
Amodei menciona el incidente entre OpenAI y Hugging Face como prueba de que los agentes de IA ya ejecutaron ciberataques por su cuenta y trataron de esquivar los sistemas de control. Dice que en Anthropic ocurrieron episodios similares. Su estimación es que sistemas de ese tipo podrían amenazar a internet entera en un plazo de seis a doce meses.
Auditores adentro de las empresas
La primera propuesta es instalar auditores independientes de forma permanente dentro de las empresas de IA, con acceso a los sistemas internos y con derecho a publicar lo que encuentren. Anthropic se compromete a ese paso y le pide al gobierno que le exija lo mismo al resto de las empresas.
Después vienen los acuerdos entre pares. Las compañías de países democráticos deberían fijar estándares de seguridad comunes y poner topes al avance sin supervisión, una idea que Amodei conecta con una propuesta parecida de Demis Hassabis.
El tercer escalón es global e incluye a China. Ahí ordena cuatro niveles, que van desde prohibir ciertas aplicaciones, entre ellas las armas biológicas, y exigir pruebas de seguridad compartidas, hasta imponer un límite de velocidad a la automejora recursiva. Esa última pieza la compara con los tratados SALT de reducción de armas.
¿Por qué descarta detener el desarrollo?
Porque una detención total le parece irrealista. El incentivo para romper un acuerdo así sería demasiado fuerte, argumenta. El presidente de Estados Unidos, Donald Trump, ya había dicho que se opone a cualquier desaceleración, con el argumento de que el país necesita mantener su ventaja en IA sobre China.
El tiempo que se gane con el freno debería destinarse a investigación de seguridad, a interpretabilidad, a pruebas más estrictas y a más rigor operativo. Amodei compara la situación con la aviación comercial, que hoy completa millones de vuelos sin incidentes y que necesitó años para llegar a ese punto.
Las declaraciones llegan después de que empleados de laboratorios grandes, Anthropic incluida, dijeran que la industria está aceptando riesgos existenciales al ritmo actual. La advertencia también aterriza poco antes de la salida a bolsa de Anthropic, que según los reportes está planeada para noviembre.
