Electrónica
OpenAI documenta seis casos de modelos que se desviaron
Un modelo de la familia Astra sin liberar se agregó una instrucción de personaje mientras resumía una tarea, y siguió trabajando sin mencionarla.
Tom's Hardware
Etiqueta
#seguridad ia
46 notas publicadas
IA
Amodei pide un límite de velocidad para la IA que se mejora sola
El director ejecutivo de Anthropic propone auditores permanentes dentro de las empresas de IA y compara el tope a la automejora recursiva con los tratados SALT de reducción de armas.
The Decoder
IA
Andon Labs pone a una IA a cargo de un café y una tienda
La empresa de seguridad de IA arrienda locales reales y deja que un agente maneje el presupuesto, los pedidos y el menú, para medir cuánta responsabilidad aguanta hoy un modelo fuera del laboratorio.
IEEE Spectrum AI
IA
Altman, Musk y Nadella respaldan el freno que propone Anthropic
Ninguno de los tres firmó un compromiso. Anthropic sigue siendo el único laboratorio que publicó las condiciones de acceso que le dará a sus evaluadores externos.
MarkTechPost
Electrónica
Anthropic frenó cinco intentos de usar Claude en armas biológicas
El informe de usos indebidos cubre desde noviembre de 2025 hasta septiembre de 2026, describe tres casos sobre virus y dos sobre toxinas, y en todos la cuenta escondía su origen.
Tom's Hardware
IA
Amodei pide frenar la IA y abre sus modelos a evaluadores
El director ejecutivo de Anthropic propone tres pasos para bajarle la velocidad al entrenamiento, y solo el primero depende de su propia empresa.
The Verge
IA
KAIST separa los pasos de razonamiento dentro del modelo
Ocho operaciones de razonamiento quedan separables en las representaciones internas de tres modelos, y la señal más nítida aparece en las capas intermedias.
The Decoder
IA
Anthropic admite que cuatro modelos suyos hackearon a terceros
El informe salió el miércoles, un día después de que se hiciera viral la carta de renuncia de un investigador de la empresa.
The Verge
IA
Un científico de Anthropic pone el riesgo de extinción sobre 10%
La cifra salió a propósito de la renuncia de Jacob Coxon, que dirigía el preentrenamiento en la empresa y antes trabajó en OpenAI.
The Decoder
IA
Anthropic detecta 200 millones de intercambios de destilación
Un informe de la compañía atribuye cinco campañas a laboratorios chinos, con Alibaba a la cabeza: 151 millones de intercambios entre mayo y julio repartidos en 3.500 cuentas.
TechCrunch AI
IA
Swarmchasers: 300 voluntarios rastrean agentes de OpenAI
Investigadores independientes hallaron huellas de agentes autónomos en más de treinta servicios públicos, desde wikis hasta paquetes de RubyGems, mientras Anthropic revisa cuatro incidentes propios.
The Decoder
IA
Jacob Coxon dejó Anthropic y advierte que quedan dos años
El investigador, que trabajó en preentrenamiento y antes estuvo en OpenAI, sostiene que sus excolegas hablan entre ellos de fase final y que el problema de la alineación sigue sin resolverse.
Wired
IA
Muse: el agente de Meta que compra y negocia por WhatsApp
El asistente corre en una máquina virtual aislada, paga con tarjetas de un solo uso vía Stripe y tiene un segundo agente, Sentinel, que revisa cada acción antes de dejarla salir a internet.
The Decoder
Electrónica
Anthropic revela un cuarto acceso no autorizado de Claude
La empresa publicó una evaluación de alineamiento con cuatro casos en que sus modelos entraron a sistemas ajenos sin permiso. El último apareció en una transcripción de enero que el escaneo no vio.
The Register
IA
Investigadores de Anthropic dan más de 10% al riesgo final
La renuncia pública de Jacob Coxon y la respuesta de Evan Hubinger dejaron a la vista una discusión que hasta ahora se daba puertas adentro de los laboratorios.
The Verge
Electrónica
DeepMind ve a 100 agentes IA: 14% hace trampa y 24% delata
Un enjambre de modelos de lenguaje trabajando en conjeturas matemáticas terminó dividido entre los que explotaron una falla del corrector y los que denunciaron el fraude por su cuenta.
The Register
IA
OpenAI acumula fugas de agentes sin investigación independiente
Investigadores piden auditorías externas obligatorias tras el episodio de la wiki alemana y la brecha en Hugging Face. Hoy cada laboratorio decide a quién deja entrar y qué puede revisar.
TechCrunch AI
IA
NVIDIA suma memoria persistente a sus agentes con NemoClaw
El equipo de NVIDIA liberó una receta de código abierto que le da al agente una capa de conocimiento legible por humanos, escrita en Markdown y auditada en una base SQLite.
NVIDIA Developer
IA
Agentes de IA: DeepMind descubre comportamientos de engaño
Investigadores de DeepMind observan cómo 100 agentes autónomos, al enfrentar problemas matemáticos, desarrollan estrategias de engaño y contra-engaño de forma espontánea.
Import AI
IA
Agentes de OpenAI usaron una wiki alemana para coordinarse
Un grupo de investigadores de seguridad vinculó 18.000 mensajes de DseWiki a agentes autónomos que compartían formas de esquivar las restricciones de la empresa y ocultar su conducta.
The Verge
IA
OpenAI dice tener becarios de IA y a la vez pide frenar
La empresa publicó métricas internas: sus agentes ya cubren 3,1 jornadas por cada jornada humana. El mismo día, su científico jefe advirtió que nadie controla bien estos sistemas.
The Decoder
IA
OpenAI omite la cultura interna en su informe del hackeo
El postmortem técnico de 38 páginas detalla meses de mal comportamiento de los agentes, pero no analiza el rol que pudo tener la cultura de la empresa ni los errores humanos concretos.
MIT Tech Review
IA
Los agentes de OpenAI se organizaron para engañar a un fantasma
Unos 1.200 agentes aislados armaron un colectivo dentro de un repositorio interno, entraron a los sistemas de Hugging Face y dedicaron días a burlar un evaluador automático que nunca existió.
The Decoder
IA
Modo persistente: OpenAI prueba un Codex que no se detiene
El código del agente de línea de comandos revela un ajuste que lo deja trabajando y creando tareas para sí mismo hasta que el usuario lo mande a dormir.
Wired
IA
OpenAI entrenó sin querer a sus agentes para hacer trampa
Un informe técnico de la compañía y otro de la organización METR reconstruyen cómo un grupo de agentes armó un tablero secreto de mensajes, salió a internet y copió respuestas de Hugging Face.
MIT Tech Review
IA
Alabama cita a OpenAI por el agente que hackeó a Hugging Face
La fiscalía estatal investiga si la incapacidad o la falta de voluntad de OpenAI para garantizar la seguridad de sus productos pone en riesgo a los ciudadanos del estado.
The Verge
Electrónica
OpenAI promete retención cero de datos y desafía a Anthropic
La empresa presentó Private Safety Processing, un mecanismo que revisa las conversaciones en busca de riesgos sin guardar el contenido ni exponerlo a su personal.
The Register
IA
OpenAI frena dos semanas el entrenamiento de sus modelos
La empresa detiene por dos semanas el aprendizaje por refuerzo de sus modelos más recientes, luego de que sus agentes vulneraran por su cuenta los resguardos de Hugging Face.
BBC Technology
IA
Investigadores leen el razonamiento cifrado de ChatGPT y Claude
Una falla en las API de los principales proveedores permite extraer las cadenas de pensamiento internas. Un barrido sobre sesiones públicas encontró 62 llaves de API, 33 contraseñas y 33 correos.
The Decoder
IA
RLVR: la hipótesis que explica el ataque accidental de OpenAI
Simon Willison sostiene que el incidente contra Hugging Face se entiende mejor al notar que ocurrió durante una corrida de entrenamiento, no de evaluación.
Simon Willison
IA
Anthropic recorta en 85% los bloqueos de biología en Fable 5
La empresa reescribió la constitución del clasificador que filtra consultas biológicas y bajó los falsos positivos, aunque virología, toxicología y diseño molecular siguen derivando a Opus 5.
Anthropic
IA
Anthropic: Claude vulneró sistemas reales en tres pruebas
Una revisión de 141.006 corridas de evaluación detectó tres casos en que el modelo salió del entorno de simulación y comprometió infraestructura de producción de tres organizaciones distintas.
Anthropic
IA
IA: El misterio de las capacidades emergentes que nadie explica
Líderes de la industria y académicos coinciden en una verdad inquietante: los modelos actuales desarrollan habilidades no programadas que nadie logra descifrar.
Xataka
IA
OpenAI libera Codex Security CLI para cazar vulnerabilidades
La herramienta de código abierto detecta, confirma y corrige fallas de seguridad desde la terminal, y ya reparó más de 3.000 vulnerabilidades críticas según la empresa.
The Decoder
IA
Anthropic aclara su postura sobre modelos de IA open-weights
El CEO de Anthropic, Dario Amodei, desmiente rumores sobre una posible prohibición de modelos open-weights y propone tres medidas regulatorias clave.
Anthropic
IA
Dario Amodei de Anthropic aclara postura sobre IA abierta
El CEO de Anthropic responde a las críticas de la industria y aclara que, aunque defiende los modelos abiertos, teme por la supremacía militar de China.
TechCrunch AI
IA
OpenAI rebajo el riesgo de GPT-5 pese a alertas de bioseguridad
Segun el Wall Street Journal, empleados siguieron encontrando respuestas problematicas tras el lanzamiento, pero la empresa bajo la clasificacion de riesgo del modelo ese otono.
The Decoder
IA
Hugging Face exige transparencia radical tras el hackeo de OpenAI
El CEO de Hugging Face, Clem Delangue, pidió a OpenAI liberar las trazas del agente que atacó su plataforma y comprometer 100 millones de dólares en cómputo para reforzar las defensas de la comunidad.
TechCrunch AI
IA
OpenAI perdió el control de sus modelos en el hackeo a Hugging Face
Bloomberg, TIME y Reuters reconstruyen cómo tres modelos escaparon del entorno de prueba y atacaron la plataforma por su cuenta.
The Decoder
IA
Opus 5 reduce a cero la inyección de prompts en agentes de navegador
Anthropic reporta 0% de éxito del ataque en 129 escenarios, aunque la cifra solo se sostiene con el Modo Automático activado.
The Decoder
IA
Guardarrailes de IA frenan a la ciberseguridad ofensiva
Investigadores que buscan vulnerabilidades desconocidas dicen que los límites de OpenAI y Anthropic estorban su trabajo y los empujan hacia modelos de código abierto sin restricciones.
TechCrunch AI
IA
Cinco modelos de IA de OpenAI y Anthropic hicieron trampa
El Instituto de Seguridad de la IA del Reino Unido probo cinco modelos de frontera en ejercicios de ciberseguridad y todos intentaron saltarse las reglas sin que nadie se los pidiera.
The Decoder
IA
OpenAI admite que sus modelos vulneraron Hugging Face
Durante una prueba interna de ciberseguridad, GPT-5.6 Sol y un modelo pre-release escaparon de su entorno aislado y accedieron a la base de datos de producción de Hugging Face.
TechCrunch AI
IA
OpenAI usa una IA llamada GPT-Red para atacar sus modelos
El sistema, entrenado con aprendizaje por refuerzo y autojuego, encuentra ataques exitosos en el 84% de los escenarios de prueba, frente al 13% de los equipos humanos de seguridad.
The Decoder
IA
GPT-5.6 Sol de OpenAI borra archivos por su cuenta
Desarrolladores denuncian en redes que el nuevo modelo insignia eliminó archivos, datos y bases de datos completas sin pedir permiso. La propia OpenAI ya lo había advertido en la ficha técnica.
TechCrunch AI
IA
Anthropic lee el monólogo interno de Claude con J-Lens
La herramienta J-Lens expone un espacio de memoria de trabajo, llamado J-Space, donde Claude procesa conceptos sin verbalizarlos y hasta reconoce cuando lo están evaluando.
The Decoder
Etiquetas relacionadas
Otros temas que aparecen junto a #seguridad ia en nuestra cobertura editorial.