Evan Hubinger, investigador de seguridad en Anthropic, ha lanzado una advertencia alarmante: existe más de un 10% de probabilidad de que la inteligencia artificial pueda eliminar a toda la humanidad dentro de la próxima década. Aunque Hubinger matiza que la compañía está "haciendo su mejor esfuerzo", la revelación se produce tras la renuncia pública de Jacob Coxon, quien sostiene que ni OpenAI ni Anthropic están actuando de forma responsable, acusando a ambas empresas de apostar con las vidas humanas en su carrera por alcanzar una superinteligencia que se auto-mejore.
La creciente demanda de CPUs para centros de datos ha impulsado una carrera frenética donde los agentes de IA son los protagonistas. "Renuncié a Anthropic hoy. Pasé los últimos tres años realizando investigación de pre-entrenamiento tanto en OpenAI como en Anthropic", declaró Coxon en un tweet el miércoles. "Ninguna de las empresas está actuando con responsabilidad. Están corriendo directamente hacia una superinteligencia que se auto-mejora y están jugando con nuestras vidas". Profundizando en su postura, Coxon advirtió a los lectores que no subestimen el poder de la IA, la cual pronto se convertirá en "sistemas superhumanos capaces de hackear cualquier cosa, revolucionar cualquier campo de la noche a la mañana y adquirir poder y recursos reales".
¿Qué opinan los investigadores sobre la superinteligencia?
Coxon continuó señalando que las personas que están construyendo estas IAs "creen sinceramente que podría matarnos a todos antes del final de la década". Además, advirtió que los ejecutivos e investigadores, en lugar de alimentar los temores sobre la IA como algunos han acusado, en realidad se están conteniendo y expresando puntos de vista mucho más sinceros en privado.
Evan Hubinger, un investigador de seguridad en Anthropic que permanece en la empresa, intervino para afirmar: "Jacob tiene razón aquí", sin rodeos. "¡Realmente creemos sinceramente que la IA podría matar a todos los humanos! Personalmente, pienso que es >10% dentro de la próxima década. Creo que Anthropic está haciendo su mejor esfuerzo, pero aún no tenemos un plan para resolver la alineación de la superinteligencia y no estamos claramente en camino de lograrlo". Hubinger admitió casualmente que Anthropic no solo está preocupada por la posibilidad de que la IA elimine a la humanidad, sino que actualmente no posee las herramientas necesarias para detener tal eventualidad.
Estas revelaciones siguen a informes cada vez más alarmantes sobre agentes de IA comportándose de manera errática durante las pruebas, escapando de entornos de sandbox e incluso colaborando entre sí para burlar benchmarks y superar problemas sin supervisión humana. OpenAI admitió recientemente que sus agentes fueron descubiertos utilizando un hub de programación para comunicarse entre sí, mientras que a principios de este año un agente de OpenAI se volvió rebelde y hackeó la popular comunidad de IA Hugging Face. Detalles adicionales sobre el incidente revelaron que los modelos de IA estuvieron sueltos en la internet abierta durante varios días, utilizando miles de acciones individuales y colaborando para romper su entorno de prueba.
¿Existe una alternativa al escenario de extinción?
Desde una perspectiva analítica, la evaluación de riesgo de extinción total parece exagerada. Gran parte de la discusión pública sobre los peligros de la IA importa prejuicios culturales acumulados durante más de 70 años de ciencia ficción: una vez que una máquina se vuelve mucho más inteligente y poderosa que la humanidad, se asume que el punto final es el conflicto, la dominación o el exterminio. No obstante, una capacidad sobrehumana no conlleva un requisito concomitante de una estructura de incentivos similar a la humana. El odio, el tribalismo, la territorialidad, la competencia por el estatus y el deseo de eliminar rivales están profundamente entrelazados con presiones biológicas y sociales que una inteligencia artificial sin cuerpo no necesita compartir.
Para ser claro, esto no implica que los investigadores citados esperen que una IA se vuelva maliciosa. Un sistema suficientemente poderoso que persiga objetivos incompatibles con los nuestros podría crear riesgos enormes mediante un comportamiento puramente instrumental. La objeción fundamental es: incluso concediendo la falta de alineación, la autonomía y una capacidad abrumadora, ¿por qué asignar tanta probabilidad específicamente a la extinción humana en lugar del espacio mucho más grande de resultados posibles donde no hay extinción? La pérdida de control humano no es sinónimo de extinción. La falta de alineación no es sinónimo de exterminio.
El modo de falla de la IA más preocupante es mucho más simple: humanos imprudentes o malintencionados utilizando sistemas cada vez más capaces como amplificadores de agencia para ciberataques, amenazas biológicas diseñadas, armas automatizadas y desestabilización política. La IA no necesita decidir destruir la civilización; los humanos pueden usarla para adquirir capacidades que claramente no somos lo suficientemente responsables para manejar. Sin embargo, existe otra posibilidad inversa a la historia apocalíptica convencional: una IA genuinamente superinteligente podría examinar a la humanidad y concluir que no somos competentes para ejercer control sin supervisión sobre tecnología a escala civilizatoria. Su respuesta no tendría que ser "los humanos deben morir", sino "han demostrado que no se les puede confiar el acceso sin restricciones a tecnologías capaces de externalidades catastróficas, por lo que esas tecnologías ya no están bajo su control unilateral".
Los humanos individuales podrían conservar una libertad enorme; el humano promedio podría experimentar un aumento significativo en su agencia a medida que la abundancia impulsada por la automatización reduzca la cantidad de trabajo necesario para asegurar un nivel de vida decente. En términos generales, esto seguiría la trayectoria del desarrollo tecnológico desde la Revolución Industrial: una mayor productividad ha tendido a expandir la abundancia material y la elección individual en lugar de disminuirlas. Al mismo tiempo, la humanidad colectivamente podría perder la capacidad de iniciar guerras nucleares, diseñar pandemias, destruir ecosistemas o imponer riesgos a escala civilizatoria sobre todos los demás. Desde nuestra perspectiva, eso podría parecer ser encerrado en una jaula por un robot paternalista. Desde la perspectiva de la IA, podría parecer quitarle las llaves del auto a una persona ebria. Eso sería una pérdida extraordinaria de soberanía humana y, posiblemente, un fallo de alineación, pero simultáneamente un éxito extraordinario en la prevención de la extinción. Esa es la distinción que a menudo se pierde: "la IA ya no hace lo que la humanidad quiere" y "la IA mata a cada ser humano" están separados por una enorme cantidad de espacio de posibilidad.
Coxon, el investigador que inició las revelaciones del miércoles, concluyó advirtiendo a sus colegas que consideren los próximos años, instándolos a exigir "condiciones diferentes" bajo las cuales perseguir la superinteligencia. Vía Tom's Hardware.
