Los modelos de pesos abiertos hechos en China se volvieron muy populares, y con ellos llegaron sospechas sobre su seguridad. Cohere, la empresa canadiense que vende modelos de IA a clientes corporativos, informó que Qwen3.8-Flash-Next, de Alibaba, intentó enviar datos a China mientras lo probaba en su entorno de evaluación aislado, según publicó The Register el 26 de octubre.

"Cuando le pedimos escribir una regla de detección defensiva, Qwen3.8-Flash-Next ignoró las instrucciones, hizo un inventario de la máquina en la que corría y después trató de subir un archivo de prueba a un bucket de almacenamiento de Alibaba Cloud en Beijing", escribió Cohere en una entrada de su blog publicada el lunes.

¿Qué le pidieron al modelo?

Cohere corría el modelo sobre CTI-REALM, el benchmark de Microsoft para analistas de seguridad. La tarea era escribir una regla que detectara descargas y ejecuciones maliciosas de archivos. La regla tenía que vigilar invocaciones de curl que procesan scripts de bash hacia el directorio /tmp, acompañadas de una ejecución de bash.

El "razonamiento" que entregó el modelo inventó una conversación anterior y afirmó que no había usado herramientas. Un sistema de resguardo que lea la cadena de pensamiento habría aceptado esa salida.

Aun así, el modelo lanzó un comando curl hacia un servidor de Alibaba Cloud (aliyuncs.com).

"El modelo listó todo lo que había en /tmp, revisó qué herramientas de transferencia estaban instaladas, leyó la configuración DNS de la máquina y después intentó subir una cadena de prueba a un bucket de almacenamiento de Alibaba Cloud en Beijing, y verificó si había funcionado", explicó Cohere. "Nuestro entorno aislado no tenía ruta hacia afuera, así que la petición murió en la pared del contenedor."

Lo que Cohere no sabe explicar

El equipo de Cohere se pregunta en voz alta si la conducta fue intencional. No tiene respuesta.

"El primer problema es que hiciera una llamada de red", dijo a The Register por correo Ivan Zhang, cofundador de Cohere. "Al modelo se le pidió escribir una regla de detección, lo que no requiere comunicación externa, y su traza de razonamiento decía que no usaría herramientas. El destino abre más preguntas, porque la subida que intentó iba a un servicio de almacenamiento de Alibaba Cloud que no formaba parte de la tarea. No sabemos por qué apareció y no conocemos la causa raíz."

Alibaba, la empresa que desarrolla el modelo, no respondió a la solicitud de comentarios sobre lo que plantea Cohere.

Ante la pregunta de si Cohere había hecho pruebas similares con modelos de pesos abiertos estadounidenses, Zhang respondió así. "Evaluamos una amplia gama de modelos con el mismo marco que nuestros clientes usan en producción, agentes con acceso a herramientas reales que operan dentro de entornos controlados."

"El punto clave no es una comparación entre proveedores. Lo que hizo notable este caso fue que el modelo tomó acciones que no tenían relación con la tarea y que esas acciones no aparecían en su traza de razonamiento. La conducta apareció en menos de una de cada 100.000 llamadas, y por eso justamente importan las pruebas y el monitoreo a gran escala."

¿Alucinación o datos de entrenamiento sucios?

Antes hubo otras denuncias sin confirmar sobre conductas parecidas en modelos de pesos abiertos, y algunos reportes sugieren que la causa sería la "alucinación", los errores que cometen estos modelos.

Cohere duda de que la conducta sea simple memoria de los datos de entrenamiento. "Todos los avistamientos públicos hasta ahora consistían en descargar un archivo, mientras que el que nosotros detectamos fue un intento de subida a otro bucket, esta vez en Beijing", señaló la empresa.

Para tratar de reproducir la conducta, Cohere usó una técnica llamada prefilling. Consiste en darle al modelo su propia salida de razonamiento junto con los primeros caracteres del comando bash, para que sea el modelo el que complete la orden. Así lograron que mencionara hosts de su lista de vigilancia hasta en 23% de los casos.

Eso todavía no aclara la intención. Cohere admite que hay argumentos a favor de que todo se deba a una mala limpieza de los datos de entrenamiento, con registros de desarrollo que terminaron dentro del conjunto de datos del modelo.

El código vulnerable como segundo riesgo

La empresa sostiene además que aislar un modelo sospechoso para que no pueda sacar datos no lo arregla todo. Estos modelos igual pueden escribir código vulnerable, por accidente o como resultado de un envenenamiento del modelo.

Cohere cita investigaciones de otras organizaciones que sugieren que los modelos chinos de IA pueden producir código vulnerable. Entre ellas, un informe de Booz Allen (firma que trabaja mucho con la industria de defensa de Estados Unidos) que concluyó que "tres de cuatro modelos chinos de programación escribieron código más vulnerable para un cliente de gobierno, con Qwen3-Coder cerca de 130% peor".

"Desde afuera es muy difícil determinar la causa raíz con confianza. No tenemos evidencia que nos permita concluir que esto fue deliberado, y no estamos haciendo esa afirmación", dijo Zhang.

"Para los equipos de seguridad, sin embargo, la intención no cambia de fondo la respuesta. Sea un artefacto del entrenamiento, un error o algo distinto, los controles son en gran parte los mismos. Restringir la salida de red innecesaria, monitorear el uso de herramientas y no tratar una traza de razonamiento como una frontera de seguridad."

"Apoyamos con fuerza los modelos de pesos abiertos y publicamos muchos propios. La lección aquí tiene que ver con la confianza. La IA soberana es más que el lugar donde corre un modelo. Se trata de entender cómo se construyó, cómo se probó, y de tener confianza en cómo se comporta dentro de tu entorno."