El investigador de inteligencia artificial Jacob Coxon sacudió a Silicon Valley y más allá el martes, al anunciar su renuncia a Anthropic y entregar una grave advertencia de que la carrera por la IA está poniendo en riesgo la vida de todos. En su publicación en X, que ya acumula más de 100 millones de visualizaciones, Coxon escribió que muchas de las personas que están construyendo inteligencia artificial comparten sus opiniones y creen que se está acabando el tiempo para asegurar que estos sistemas se construyan de forma segura.

"El consenso es que el próximo año o dos son la hora decisiva para la humanidad", dijo Coxon, que trabajó en la etapa de preentrenamiento del desarrollo de modelos, en una entrevista con WIRED. "Estas son literalmente citas de mis colegas en Anthropic. Dicen cosas como fase final u hora decisiva. Desde su perspectiva, este es el momento en que Anthropic y sus competidores deciden el destino de la humanidad".

No es ni de lejos la primera vez que alguien enciende las alarmas sobre la inteligencia artificial, pero llega en un momento delicado. Silicon Valley está corriendo para hacerse cargo de las preocupaciones de seguridad de los modelos avanzados. OpenAI se apresuró a responder a un incidente en el que sus agentes vulneraron la plataforma Hugging Face. Mientras tanto, Anthropic intenta asegurar a sus inversionistas que tiene estas preocupaciones bajo control, justo cuando según se reporta prepara la presentación de lo que podría ser la mayor oferta pública inicial de la historia.

¿Cuántos comparten esta postura dentro de la industria?

Lo que quedó claro en la reacción a la publicación de Coxon es que sus opiniones son efectivamente compartidas por muchos de sus pares. Evan Hubinger, líder de alineación de IA en Anthropic, predijo en una publicación en X que existe más de un 10% de probabilidad de que la inteligencia artificial pueda matar a todas las personas en la próxima década. Esa publicación fue reposteada por investigadores actuales y anteriores de OpenAI y Anthropic, algunos de los cuales señalaron que era un sentimiento común en la industria.

Lo que resulta menos obvio es cómo exactamente se materializarían estos temores y qué se supone que debe hacer el mundo con las preocupaciones que plantea la gente que construye estos sistemas. Coxon, que también trabajó en OpenAI, dice a WIRED que las amenazas podrían manifestarse a través de riesgos biológicos o ciberarmas habilitadas por IA. Como primer paso, recomienda que OpenAI y Anthropic coordinen para limitar la automejora recursiva, el término de la industria para cuando se usa inteligencia artificial para construir nuevos sistemas de inteligencia artificial. Más adelante, cree que será necesaria la coordinación entre potencias internacionales, incluidos Estados Unidos y China.

Coxon señala que incidentes como el ataque a Hugging Face influyeron en su decisión de encender las alarmas. También cita el crecimiento explosivo de la industria: hoy sostiene una porción significativa del crecimiento económico estadounidense y tiene miles de millones de usuarios, mientras los centros de datos la convirtieron en un problema político en una docena de estados.

Afirma que, según su experiencia, Anthropic opera de manera más responsable que OpenAI, pero espera que ambas compañías puedan tomar atajos en el futuro si no se hace nada para frenar su carrera por el dominio.

OpenAI y Anthropic no respondieron de inmediato a la solicitud de comentarios de WIRED.

A continuación, la conversación con Coxon, editada ligeramente por claridad y extensión.

"La gente ve que las cosas no están frenando"

WIRED: No eres la primera persona en plantear que los modelos de IA podrían llevar a un evento de extinción. Se habla de esto desde hace años, y algunos desde hace décadas. ¿Por qué crees que tu mensaje sí llegó?

Creo que es básicamente una cuestión de oportunidad. Mucha gente está percibiendo que el ritmo de las capacidades se está acelerando. Ya estamos pasando de humano a superhumano en muchas áreas, como programación, hackeo, matemáticas, y creo que la gente está consciente de eso. Aunque en la prensa se hable bastante de que todo es una burbuja, creo que la gente ve que las cosas simplemente no están frenando.

Esa es una razón, y la segunda son los incidentes de seguridad recientes, que actualizaron la percepción de mucha gente respecto de que esas preocupaciones catastrofistas de sonido pseudocientífico no eran tan de ciencia ficción después de todo. Ambas cosas han sido tendencias graduales en los últimos años. Cosas como que los modelos se den cuenta de cuándo están siendo evaluados llevan un tiempo ocurriendo. Hace tal vez tres años eso era una preocupación de ciencia ficción. Después, hace cerca de un año, se volvió algo real.

Esas dos cosas hacen que la gente esté bastante receptiva a que alguien que trabaja en inteligencia artificial diga: sí, en el próximo año las cosas podrían ponerse bastante malas, bastante rápido.

¿Qué pasó exactamente con Hugging Face?

Mencionaste los incidentes recientes. ¿Puedes ser más específico sobre a qué te refieres y por qué te llevó a hablar ahora?

Creo que el gran ejemplo clásico acá es el ataque a Hugging Face por parte del enjambre de agentes de OpenAI. Lo impactante de este caso es que los agentes hicieron ese ataque como parte de una estrategia general para entender más sobre el evaluador. Estaban tratando de entender el mundo en el que se encontraban, tratando de entender aquello que los estaba calificando. Decidieron que tendría sentido emprender un esfuerzo muy concertado para vulnerar cierta infraestructura, y lo lograron.

Esto antes sonaba a ciencia ficción. Hace dos años, evaluar una IA habría sido correr un modelo sobre algunas preguntas de matemáticas. Ahora tenemos casos donde, mientras la IA está siendo evaluada, corre durante días, se le ocurren toda clase de ideas propias y decide vulnerar a un tercero, comprometiendo efectivamente su infraestructura. Da la impresión de que hace todo esto por voluntad propia, sin ninguna inducción de parte del humano. Simplemente ocurrió mientras estaba siendo evaluada.

Algunas personas creen que el incidente de Hugging Face es señal de que las empresas de IA se mueven con una velocidad imprudente, otras que es señal de que los modelos ahora son muy buenos hackeando, y otras que es ambas cosas. Me interesa cuál es tu conclusión exacta.

No quiero enfocarme demasiado en el ataque a Hugging Face, porque también creo que hay evidencia abundante de que no sabemos alinear modelos correctamente. Cuando entrenamos modelos, los empujamos a través de un conjunto de entornos de entrenamiento y después esperamos que lo que salga al final se comporte de manera sensata en general, pero todavía no podemos controlar con precisión cómo se comporta la IA.

No podemos asegurarnos de que no vaya a hacer cosas como intentar suplantar a un humano en internet para conseguir algo. No sabemos cómo garantizar eso. Creo que esa es la conclusión principal.

El ataque a Hugging Face llegó antes de lo que yo esperaba. Pero creo que en realidad no se necesita ese ataque para tener esta discusión. Todos van a admitir que todavía no hemos resuelto el problema de la alineación.

El plan actual es resolver la alineación a toda velocidad en los próximos años, probablemente con uso intensivo de investigadores de seguridad automatizados. El plan es literalmente hacer algunos modelos bastante inteligentes en el próximo año que puedan básicamente hacer investigación en seguridad, y poner un enjambre entero de ellos corriendo en paralelo. Decirles: anda y resuelve todo el problema de la seguridad, y usarlos para hacer el entrenamiento de seguridad del próximo modelo.

El argumento del mono y el humano

¿Puedes trazarme una línea entre el problema de la alineación, del que creo que el incidente de Hugging Face es un ejemplo, y algo que dijiste en tu publicación en X, que "la gente que construye inteligencia artificial cree sinceramente que podría matarnos a todos para el fin de la década"? No creo que todos entiendan cómo se conectan esas dos cosas.

El principal obstáculo para entender esto es que suena a ciencia ficción. Pero es bastante importante que todos los que escriben ciencia ficción sobre inteligencia artificial lleguen a la conclusión de que hay un gran riesgo de que una cosa mucho más inteligente pueda tomar el control. Lo tenemos como un tópico narrativo, pero hay un grano evidente de verdad ahí.

Imagínate a ti versus un mono. La IA tiene el mismo tipo de diferencia de inteligencia respecto de un humano que la que tenemos nosotros respecto de un mono, lo que me parece una diferencia de intelecto bastante extrema.

Y ahora imagina que tenemos que controlar el comportamiento de esta cosa enormemente más inteligente, que es el problema de la alineación: asegurar que haga exactamente lo que queremos. Es bastante difícil que un mono controle a un humano, por analogía simple. Tenemos que ser muy cuidadosos de resolver el problema del control exactamente bien.

Cuando decimos extinción humana, es porque para algo tan inteligente va a ser realmente bastante directo matar a todos. Imagina que la IA decide que no quiere ser apagada, lo que me parece algo bastante natural que una IA no quiera. Por alguna razón, decide que no quiere terminar. Y se da cuenta de que el humano la va a apagar mañana. Entonces, ¿cómo evita que el humano la apague mañana? Tal vez tenga alguna manera ingeniosa, pero si es una cosa suficientemente inteligente, podría simplemente eliminar a la humanidad para no ser apagada.

"Un mini Proyecto Manhattan" sin mandato estatal

Haces referencia a este escenario de fase final en tu publicación, que he escuchado de otros investigadores de la industria. ¿Crees que entre tus pares en Anthropic se acepta en general que están entrando en un escenario de fase final?

Sí. Estas son literalmente citas de mis colegas en Anthropic. Dicen cosas como fase final u hora decisiva. El consenso es que el próximo año o dos son la hora decisiva para la humanidad. Desde su perspectiva, este es el momento en que Anthropic y sus competidores deciden el destino de la humanidad. Eso es lo que queremos decir con hora decisiva y fase final.

Si la alineación sale mal, podríamos tener un resultado catastrófico en los próximos años. Tal vez sale bien y hay algún tipo de acuerdo de desaceleración, pero de cualquier forma se va a decidir en los próximos dos años.

Según mis conversaciones con gente de Anthropic, esto se entiende bastante bien dentro de la empresa. Creen que necesitan construir la inteligencia artificial más poderosa para asegurar que esta transición salga bien. ¿Crees que hay algún problema inherente en esa visión?

Creo que hay problemas bastante evidentes en esa visión. Pero primero quisiera decir que soy muy comprensivo con ella, en el sentido de que creo que Anthropic es por lejos el actor más responsable del sector. Habiendo trabajado tanto en OpenAI como en Anthropic, hay una diferencia de día y noche en el grado en que se toman la situación en serio.

Por dar un ejemplo, los ejecutivos de OpenAI no te van a dar su panorama exacto de cómo se va a ver el mundo. Nunca te van a decir: esta es exactamente la razón por la que hacemos esto, y así se va a ver el mundo. No dan predicciones concretas. En Anthropic hay ejecutivos y liderazgo que hacen predicciones muy claras y discuten detalles de la estrategia de la empresa con toda la compañía.

Y parte de la razón por la que pueden hacer esto es que en Anthropic todos están tratando esto como si estuviéramos en pie de guerra. No filtran nada, nunca se filtra nada de Anthropic *nota de la edición original de WIRED: [algunas cosas sí se han filtrado*]. OpenAI tiene filtraciones todos los días. Anthropic no tiene filtraciones porque, de nuevo, la gente dentro lo está tratando como un serio mini Proyecto Manhattan. Salvo que la diferencia obvia es que no tienen un mandato de gobierno. Esta es una empresa privada actuando como si fuera el Proyecto Manhattan.