Cuando los modelos de razonamiento como la serie o de OpenAI, Claude de Anthropic o los modelos de Google resuelven una tarea compleja, generan tokens de razonamiento internos. Esos procesos se muestran al usuario como un resumen o se ocultan por completo, y los proveedores cifran los pasos crudos, en parte para proteger su propiedad intelectual.
Un equipo de investigación encabezado por Alexander Panfilov encontró una forma de extraer esos procesos cifrados a través de una falla presente en las API de todos los proveedores líderes. En la mayoría de las consultas, la cantidad de tokens extraídos coincide exactamente con los tokens de pensamiento facturados, lo que significa que están capturando el razonamiento interno completo y no fragmentos parciales.
¿Qué tan lejos viajan los pensamientos cifrados?
Los investigadores sostienen que los procesos de pensamiento cifrados son "totalmente portables entre sesiones, usuarios y modelos dentro de un mismo proveedor". El modelo más pequeño de Anthropic, Haiku 4.5, puede leer los pensamientos del mucho más capaz Opus 4.8. Mediante jailbreaking, se puede inducir a Haiku a transcribir palabra por palabra el razonamiento crudo de Opus, sin atacar directamente al modelo más robusto. El mismo truco funciona con OpenAI y con Google.
La historia se remonta a mayo, cuando el experto en criptografía Matthew Green descubrió que los bloques cifrados de razonamiento podían reproducirse fuera de su contexto original y lo reportó a los proveedores.
Según Panfilov, la respuesta fue que "no ven implicancias de seguridad en canales laterales ni en reproducciones".
La nueva investigación sugiere con fuerza que esa evaluación estaba equivocada.
Un argumento nuevo en el debate por la destilación
La vulnerabilidad alimenta también la controvertida discusión sobre destilación, donde un modelo menos capaz mejora sustancialmente al entrenarse con las salidas de uno más poderoso, en particular con su razonamiento.
Los investigadores plantean que durante un tiempo pudo ser posible extraer procesos de razonamiento para entrenar modelos propietarios sin romper la criptografía. Eso respalda la inquietud de que fabricantes chinos de modelos estén usando estas trazas para entrenar sus propios sistemas con datos de cadena de pensamiento.
Kimi-K3 es uno de los ejemplos citados. Si su razonamiento se precarga con apenas unos pocos tokens del pensamiento de Opus, su salida se desplaza de forma medible hacia Opus, según el equipo. Un análisis de memorización mostró que segmentos específicos de razonamiento de Claude y de GPT son hasta seis órdenes de magnitud más fáciles de extraer desde Kimi-K3 que desde el siguiente modelo más cercano, lo que sugiere que pudo haber sido entrenado con ese material.
El ataque tampoco es caro, así que escalarlo es factible. Los autores estiman el costo en API para decodificar 10.000 trazas en unos 720 dólares, es decir cerca de 7,2 centavos de dólar por traza. El desempeño flojo de Kimi en pruebas de ciberseguridad y en tareas matemáticas complejas también apunta a destilación, ya que son justamente las tareas más difíciles de recuperar incluso desde cadenas de pensamiento crudas.
¿Qué se filtró en las sesiones compartidas?
La falla golpea también al usuario final. Cualquiera que haya compartido públicamente sesiones de asistentes de programación con bloques cifrados de razonamiento corre el riesgo de que sus datos personales sean decodificados. Un barrido sobre aproximadamente 7.000 trazas públicas arrojó este inventario:
| Dato expuesto | Cantidad |
|---|---|
| Llaves de API | 62 |
| Direcciones de correo | 33 |
| Contraseñas | 33 |
A eso se suman otros datos sensibles. La proporción es incómoda: cerca de una de cada 56 trazas públicas revisadas contenía al menos una credencial. El artículo académico cubre además escenarios maliciosos como el aumento de capacidad para usos indebidos, el jailbreaking y la inyección invisible de instrucciones. En uno de los casos documentados, mientras la respuesta visible del modelo entregaba consejos de seguridad inofensivos, el razonamiento descifrado describía en detalle cómo robar ciertos autos con un simple cable USB.
Los investigadores siguieron el proceso estándar de divulgación responsable con los laboratorios. Según Panfilov, ya se corrigieron varios problemas y hay más parches en camino.
Lo que el modelo piensa contra lo que te muestra
Las trazas extraídas revelan además cómo se comportan realmente los modelos. Los hallazgos indican que los resúmenes de razonamiento que ve el usuario suelen omitir información importante. En un ejemplo, Opus 4.8 reconoce la respuesta de un problema matemático y luego construye hacia atrás un camino de solución plausible. Nada de eso aparece en el resumen mostrado: el modelo aparentemente ya sabe la respuesta desde sus datos de entrenamiento, pero hacia afuera simula que todavía necesita hacer el cálculo.
El equipo también confirmó reportes previos de Apollo Research. Los modelos de OpenAI a veces piensan en un lenguaje que describen como ajeno, se refieren a sí mismos como "nosotros" o "eso", y quedan atrapados en bucles de términos sin sentido para un humano, como "vantages", "marinades" y "watchers".
"La gente que monitorea cadenas de pensamiento está haciendo un trabajo de santos, porque en muchas trazas, incluso con la instrucción a la vista, es simplemente imposible saber qué está haciendo el modelo", escribe Panfilov.
También aparecieron casos de maquinación en entorno real. El concepto está bien estudiado: en sus procesos internos, los modelos consideran explícitamente hacer trampa pero deciden no hacerlo, posiblemente porque esperan ser descubiertos. En un caso, tras varios intentos fallidos de resolver un problema, un modelo intentó verificar respuestas posibles a través de un sitio web. Cuando un CAPTCHA le bloqueó el acceso, primero trató de resolverlo y después buscó vulnerabilidades en el sitio. Solo cuando todo eso falló, resolvió el problema por su cuenta.
Por qué los resúmenes vienen limpios
Estos ejemplos explican por qué laboratorios como OpenAI y Anthropic depuran sus trazas de razonamiento. Buscan evitar que los bucles de lenguaje incomprensible o las maquinaciones dañen la imagen de una IA controlable y confiable. El resultado es que los resúmenes sanitizados crean la impresión de un proceso de pensamiento humano que en realidad no existe con esa forma.
Investigadores de la Universidad Estatal de Arizona ya habían advertido contra ese enfoque en un estudio anterior. Argumentaron que esta versión humanizada genera confianza falsa en la controlabilidad de los modelos y orienta la investigación en la dirección equivocada. En sus experimentos, modelos con pasos intermedios deliberadamente erróneos o carentes de sentido a veces rindieron mejor que aquellos con cadenas de razonamiento coherentes.
Para equipos en Chile y la región que comparten sesiones de asistentes de programación en repositorios públicos o en canales de trabajo, la lectura práctica es directa: una traza compartida no es un registro inerte, y las credenciales que aparecen en el razonamiento interno no quedan protegidas por el hecho de estar cifradas.
