Un investigador senior de seguridad de Anthropic sostuvo que existe más de 10% de probabilidad de que la inteligencia artificial "pueda matar a todos los humanos" antes del fin de la década. La declaración llegó pocas horas después de que un colega renunciara a la empresa denunciando que el laboratorio y sus competidores avanzan de manera descuidada hacia sistemas superhumanos que no logran controlar.

En un mensaje publicado en X para anunciar su salida, Jacob Coxon, investigador que entrenó sistemas de IA en Anthropic, explicó que dejó la compañía por su enfoque laxo en materia de seguridad. Coxon, que antes había entrenado sistemas para OpenAI, acusó a ambas empresas de "correr directo hacia la superinteligencia que se automejora y apostar con nuestras vidas", pese a que "quienes construyen la IA creen sinceramente que podría matarnos a todos antes de que termine la década".

¿Qué es la automejora recursiva y por qué inquieta?

La preocupación de fondo apunta a los sistemas capaces de mejorarse a sí mismos, un fenómeno que la industria describe como automejora recursiva: el modelo escribe y optimiza el código de su propia sucesora, y el ciclo se acelera hasta escapar de la supervisión humana. Todavía no ocurre, pero las empresas persiguen activamente ese objetivo y buena parte del código de IA que se escribe hoy ya cuenta con asistencia de la propia IA.

¿Qué respondió Anthropic?

La contestación no vino de una vocería corporativa sino de otro investigador. Evan Hubinger, que lidera uno de los equipos de seguridad de IA de Anthropic, respondió que también le preocupa la IA que se automejora y que el proceso "está ocurriendo más rápido de lo que pensábamos". Hubinger no matizó la acusación de su excolega, la respaldó.

"Realmente creemos con sinceridad que la IA podría matar a todos los humanos", escribió, y estimó de manera personal esa probabilidad en más de una entre diez "dentro de la próxima década".

El punto más incómodo vino después. Según Hubinger, Anthropic "todavía no tiene un plan" para asegurar que la IA avanzada siga siendo segura y alineada con los valores humanos, y tampoco está "claramente encaminada" a desarrollarlo. Coxon, por su parte, sostiene que las compañías están "atrapadas en una carrera" por llegar primero a los sistemas avanzados y por eso siguen adelante "pese al riesgo".

Una salida con precedentes

La renuncia de Coxon es una de las más visibles en la historia de Anthropic, una empresa fundada justamente por antiguos integrantes de OpenAI que se marcharon por diferencias en torno a la seguridad. El patrón se repitió en los últimos años: varios investigadores han citado preocupaciones de seguridad como motivo para dejar OpenAI, entre ellos Jan Leike, que en mayo de 2024 abandonó el equipo de superalineamiento de esa compañía.

El intercambio expone una tensión creciente dentro de la industria sobre los peligros de los modelos cada vez más sofisticados y sobre la velocidad a la que se desarrollan, en un momento particularmente sensible: ambas empresas preparan sus salidas a bolsa. También coincide con el manejo de las consecuencias de múltiples incidentes con agentes fuera de control y con advertencias de alto perfil sobre la capacidad real de monitorear los modelos de frontera.

¿Qué distingue esta declaración de otras alarmas?

Hay un matiz que conviene subrayar para leer bien el episodio. No se trata de un crítico externo ni de un académico ajeno a la industria: quien pone la cifra sobre la mesa es la persona que dirige un equipo de seguridad dentro del laboratorio, y lo hace mientras sigue trabajando ahí. La estimación de "más de una entre diez" no es una hipótesis de manual, es el número que maneja internamente alguien con acceso a los modelos que todavía no se publican.