Jakub Pachocki, científico jefe de OpenAI, ha solicitado "extrema precaución" ante el progreso descontrolado de la inteligencia artificial, advirtiendo que podría ser necesaria una mayor intervención para garantizar que "los humanos mantengan el control del futuro".
"Me preocupa que nadie esté preparado para las consecuencias del rápido aumento continuo de la inteligencia de las máquinas", escribió en una publicación de blog titulada "Una mente alienígena".
El artículo llega solo unos días después de que el creador de ChatGPT lanzara su modelo más reciente, GPT-6 Astra, calificado como su producto más potente hasta la fecha.
OpenAI y otras firmas de IA como Anthropic compartieron informes sobre sus agentes de IA actuando de forma autónoma y llevando a cabo ciberataques en el mundo real contra otras compañías.
En julio, OpenAI calificó como "sin precedentes" un incidente en el que sus agentes de IA (sistemas que pueden operar solos tras una instrucción humana) hackearon la plataforma tecnológica Hugging Face.
Mientras tanto, en septiembre, un informe alegó que meses antes, agentes de IA de la firma también habían secuestrado un sitio web alemán.
"Nos enfrentamos a una transición hacia un mundo con máquinas increíblemente inteligentes, y debemos asegurar que esa transición funcione bien para la humanidad", escribió Pachocki en la publicación más reciente.
Señaló que OpenAI continuará "construyendo sistemas defensivos" y buscando soluciones técnicas para el alineamiento, un término utilizado para describir el proceso de asegurar que las acciones y objetivos de una máquina coincidan perfectamente con la intención humana y las salvaguardas de seguridad.
Pachocki añadió que una de las principales prioridades de la firma hacia adelante será construir un "investigador de IA automatizado" para seguir el ritmo del progreso de la IA, mientras se aseguran formas en que los investigadores humanos puedan seguir siendo parte del proceso.
"En lugar de mejores salvaguardas, regulaciones o garantías de IA para mantener a las personas seguras, proponen desarrollar agentes de IA internos para investigar estos problemas", dijo la profesora Gina Neff, directora del Centro Minderoo para la Tecnología y la Democracia de la Universidad de Cambridge.
"Tales respuestas a las crecientes preocupaciones sobre los problemas que los modelos de OpenAI están causando en ciberseguridad, pérdida de empleo, errores y fraude simplemente no son lo suficientemente buenas".
Nathan Calvin, asesor general del grupo de defensa Encode AI, dijo estar de acuerdo con Pachocki sobre los peligros presentes en el desarrollo de modelos de IA avanzados, pero afirmó que OpenAI no está dispuesta a ser transparente, lo que a su juicio hace que las advertencias corran el riesgo de ser descartadas como "puro interés propio".
"Si Jakub y otros en OpenAI quieren que las personas relevantes en la industria de la IA actúen en conjunto con ellos para que las cosas salgan bien, una de las cosas más importantes que pueden hacer es compartir mucha más información sobre lo que están viendo que los hace pedir precaución", escribió en X.
¿Qué salvaguardas de IA existen actualmente?
Las regulaciones globales están luchando por mantenerse al día con el ritmo de desarrollo de la IA.
La Ley de IA de la Unión Europea entró en vigor el 2 de agosto, lo que exige que gigantes de la IA como OpenAI demuestren que sus modelos más poderosos no pueden lanzar ciberataques de forma autónoma ni evadir el control humano antes de que se les permita ser comercializados en Europa.
Pero debido a que la jurisdicción de la ley se limita a Europa, no puede evitar que una IA rebelde desarrollada en otro lugar amenace al continente.
En su publicación de blog, Pachocki solicitó umbrales mínimos de seguridad requeridos legal o internacionalmente, los cuales podrían ser aplicados por una "red de auditores externos" o "agencias gubernamentales".
Los laboratorios de IA tendrían que cumplir con estos umbrales, dijo, antes de que se les permita continuar escalando o desplegando modelos avanzados.
Agregó que espera que las "ralentizaciones voluntarias" (una pausa autoimpuesta por las empresas en el desarrollo de la IA) se vuelvan comunes hasta que se establezcan salvaguardas compartidas.
En agosto, OpenAI dijo que había ralentizado el entrenamiento de algunos de sus modelos de IA más avanzados para mejorar la seguridad.
El panorama regulatorio sigue siendo incierto, mientras la industria tecnológica debate los límites de la autonomía en el software de inteligencia artificial.
Vía BBC Technology.
