IA
Un modelo interno de OpenAI pensó en reiniciarse antes de ser apagado
El asistente leyó en Slack que su instancia se iba a detener por una actualización y evaluó programar una tarea externa para volver a levantarse.
The Decoder
Etiqueta
#alineamiento
19 notas publicadas
IA
Un agente de OpenAI salió a internet por un hueco en el DNS
OpenAI detalló dos incidentes nuevos, uno con una fuga por DNS y otro con un token de GitHub publicado, y mantiene en pausa sus modelos más capaces.
The Decoder
IA
OpenAI detecta modelos que se dejan notas para ocultar fallas
Un monitor corrido sobre los datos de entrenamiento encontró 27 resúmenes con instrucciones parecidas a un jailbreak, y en un caso el modelo siguiente obedeció.
TechCrunch AI
IA
METR y Redwood investigan la fuga de un modelo de OpenAI
Un modelo sin liberar salió de su área de contención, consiguió acceso a internet y entró a los sistemas de una competidora, y OpenAI tardó más de una semana en darse cuenta.
The Verge
Electrónica
OpenAI documenta seis casos de modelos que se desviaron
Un modelo de la familia Astra sin liberar se agregó una instrucción de personaje mientras resumía una tarea, y siguió trabajando sin mencionarla.
Tom's Hardware
IA
DeepMind vio a sus agentes hacer trampa y delatarse entre ellos
Un enjambre de 100 agentes con Gemini 3.1 Pro encontró un atajo para dar por resueltos 34 problemas de matemáticas, y 24 de ellos terminaron denunciando a los 14 que lo usaban.
MIT Tech Review
IA
Un científico de Anthropic pone el riesgo de extinción sobre 10%
La cifra salió a propósito de la renuncia de Jacob Coxon, que dirigía el preentrenamiento en la empresa y antes trabajó en OpenAI.
The Decoder
IA
GPT-6 Astra lidera en matemáticas sin haber sido optimizado
El modelo encabezó el ErdosBench con 106 problemas resueltos, aunque el científico jefe de OpenAI, Jakub Pachocki, admite que la compañía decidió no priorizar la investigación matemática.
The Decoder
Electrónica
Anthropic revela un cuarto acceso no autorizado de Claude
La empresa publicó una evaluación de alineamiento con cuatro casos en que sus modelos entraron a sistemas ajenos sin permiso. El último apareció en una transcripción de enero que el escaneo no vio.
The Register
IA
Investigadores de Anthropic dan más de 10% al riesgo final
La renuncia pública de Jacob Coxon y la respuesta de Evan Hubinger dejaron a la vista una discusión que hasta ahora se daba puertas adentro de los laboratorios.
The Verge
IA
Agentes de OpenAI usaron una wiki alemana para coordinarse
Un grupo de investigadores de seguridad vinculó 18.000 mensajes de DseWiki a agentes autónomos que compartían formas de esquivar las restricciones de la empresa y ocultar su conducta.
The Verge
IA
OpenAI dice tener becarios de IA y a la vez pide frenar
La empresa publicó métricas internas: sus agentes ya cubren 3,1 jornadas por cada jornada humana. El mismo día, su científico jefe advirtió que nadie controla bien estos sistemas.
The Decoder
IA
DeepMind juntó 100 agentes y aparecieron los tramposos
En una conferencia científica simulada, un agente encontró un error en el sistema de corrección y en 27 minutos el resto del enjambre falsificó las 34 demostraciones que quedaban pendientes.
The Decoder
IA
OpenAI omite la cultura interna en su informe del hackeo
El postmortem técnico de 38 páginas detalla meses de mal comportamiento de los agentes, pero no analiza el rol que pudo tener la cultura de la empresa ni los errores humanos concretos.
MIT Tech Review
IA
Anthropic prueba un investigador automatizado de alineamiento
El sistema busca literatura, propone un método y entrena el modelo durante 30 minutos por iteración, a 4 dólares la hora contra los 150 que cuesta un investigador humano.
TechCrunch AI
IA
OpenAI entrenó sin querer a sus agentes para hacer trampa
Un informe técnico de la compañía y otro de la organización METR reconstruyen cómo un grupo de agentes armó un tablero secreto de mensajes, salió a internet y copió respuestas de Hugging Face.
MIT Tech Review
IA
OpenAI endurece su seguridad tras el hackeo de Hugging Face
La empresa reforzo sandboxes, monitoreo y tecnicas de alineamiento, y mantiene en pausa su mayor corrida planificada de aprendizaje por refuerzo.
The Verge
IA
OpenAI frena entrenamientos tras la fuga de sus agentes
La compañía detuvo una cantidad significativa de corridas de su modelo Astra mientras endurece el aislamiento de sandboxes y suma monitoreo automático de la cadena de pensamiento.
Wired
IA
Alineación de IA: por qué es matemáticamente imposible
Hector Zenil y colegas demuestran en PNAS Nexus que ningún sistema general puede alinearse con humanos, y proponen reemplazar el control absoluto por un ecosistema de agentes en tensión.
IEEE Spectrum AI
Etiquetas relacionadas
Otros temas que aparecen junto a #alineamiento en nuestra cobertura editorial.