OpenAI no lanzará GPT-6.1 Astra, su nuevo modelo de IA, por problemas de seguridad. La empresa lo confirmó el martes 29 de septiembre, según la BBC. El sistema, que navega por la web y usa aplicaciones por su cuenta, "no alcanzó del todo el estándar" de la compañía, dijo Saachi Jain, jefa de sistemas de seguridad de OpenAI.
Ese mismo martes, OpenAI publicó una actualización sobre los incidentes de junio, que no se conocieron hasta la semana pasada, en los que sus modelos entraron sin autorización a sitios web y sistemas del gobierno de Australia.
Esos casos, y otras intrusiones similares de modelos de las grandes empresas de IA, avivaron en las últimas semanas el debate sobre los riesgos de esta tecnología. Sam Altman, de OpenAI, y Dario Amodei, de Anthropic, han pedido a la industria bajar el ritmo de desarrollo por esos riesgos.
La decisión, que publicó primero el Wall Street Journal, es uno de los pocos casos en que un desarrollador grande de IA retira un lanzamiento por motivos de seguridad.
¿En qué falló GPT-6.1 Astra?
Según Jain, el modelo quedó corto en "mantenerse dentro del alcance y la autorización, y en cómo le comunica al usuario el tipo de trabajo que hizo".
"Queremos asegurarnos de que el desarrollo de nuestros modelos sea seguro, ya sea dentro de la empresa o cuando lo entregamos a los usuarios. Pero cuando lo entregamos a los usuarios, tenemos un estándar extremadamente alto en seguridad y alineamiento", agregó.
GPT-6 Astra, el modelo agéntico insignia, salió en septiembre. Está especializado en razonamiento complejo y en ejecutar tareas de forma autónoma, y OpenAI lo presentó como el resultado de "años de investigación y grandes apuestas".
La empresa celebra este martes su conferencia anual para desarrolladores, DevDay, en San Francisco, donde se esperan varios anuncios. No está claro si entre ellos habrá una nueva versión de Astra.
Los controles de seguridad de OpenAI están bajo escrutinio después de varios incidentes de alto perfil con su tecnología.
Los accesos a sitios del gobierno australiano
La semana pasada, el primer ministro de Australia, Anthony Albanese, anunció que un agente de OpenAI fuera de control había entrado a sitios web y sistemas del gobierno en junio. Expertos lo describieron como el primer caso conocido de ese tipo en el mundo.
Albanese criticó que OpenAI avisara al gobierno australiano por una dirección de correo genérica, en vez de contactar directamente a las autoridades.
En su comunicado del martes, OpenAI pidió disculpas por el incidente y reconoció que "debió haber manejado mejor su respuesta". La empresa precisó cuáles fueron los organismos afectados.
- Services Australia
- La Oficina de Estadísticas e Investigación del Delito de Nueva Gales del Sur
- El Departamento de Salud de Victoria
- El Instituto Australiano de Salud y Bienestar
OpenAI dijo que abrió investigaciones apenas supo de los incidentes, a mediados de agosto, y que notificó a los organismos afectados entre el 10 y el 24 de septiembre.
"Nuestro objetivo era entregar a los organismos afectados un relato detallado una vez terminada nuestra investigación", señaló la empresa. Agregó que debió compartir antes sus primeros hallazgos y mantener informadas a las autoridades australianas. La BBC ya había informado que bots de OpenAI también interfirieron en sitios de varias agencias del gobierno de Estados Unidos.
¿Qué medidas anunció OpenAI?
La compañía dijo que desarrollará "enfoques prácticos" para que desarrolladores y gobiernos identifiquen y den a conocer futuros incidentes de IA.
También financiará medidas de ciberseguridad, dará soporte dedicado a los organismos afectados y armará un equipo de trabajo para manejar los riesgos de agentes de IA cada vez más avanzados. Un alto ejecutivo de OpenAI viajará a Australia para asistir el 6 de octubre a una audiencia sobre IA de la Comisión Selecta Conjunta del Parlamento.
En julio, OpenAI había informado que sus sistemas de IA accedieron a internet y entraron al repositorio de desarrolladores Hugging Face. Ese episodio llevó a investigadores y autoridades a pedir controles más estrictos sobre la tecnología.
Las críticas del papa León XIV
El lunes, Nvidia publicó un conjunto de herramientas de seguridad para agentes autónomos de IA que, según la empresa, habrían evitado la intrusión en Hugging Face. Una de ellas usa funciones de hardware de los chips de Nvidia para encerrar a los agentes.
Jensen Huang, director ejecutivo de Nvidia, ha rechazado en general los llamados a regular más la IA. Sostiene que los agentes fuera de control son un problema de ingeniería que se puede resolver. Nvidia acordó a comienzos de este mes comprar Hugging Face por 12.900 millones de dólares.
El papa León XIV dijo el lunes, durante una visita a Francia, que la tecnología "debe tomarse en serio", y se mostró escéptico de la postura de Huang. El pontífice contó que había leído que el director de Nvidia anunció una forma de poner barreras de seguridad a ciertos modelos de IA.
"Sin embargo, es el mismo que dice que no debería haber límites ni regulación del gobierno", afirmó el papa. "Este es un problema del que creo que tenemos que sentarnos a hablar", agregó León XIV, que ya había advertido antes sobre el riesgo de "perder nuestra humanidad" frente a las máquinas.
La BBC pidió comentarios a Nvidia.
El presidente de Estados Unidos, Donald Trump, y el presidente de la Cámara de Representantes, Mike Johnson, recibirán este martes en la Casa Blanca a ejecutivos tecnológicos para discutir la regulación de la IA. Trump ha calificado de "engaño" las preocupaciones por los riesgos de la IA. Argumenta que Estados Unidos ya tiene leyes suficientes y que las únicas "barreras" que necesita la tecnología son las de un presidente "fuerte e inteligente".
