La Unión Europea exige ahora que el texto generado por IA lleve una marca de agua que permita identificarlo. Pero las pruebas de textGrain, la marca de agua que OpenAI lanzó en octubre y que desarrolló para cumplir la nueva ley europea, muestran que la señal muchas veces no sobrevive a una edición posterior ni a textos de menos de 150 palabras, informó IEEE Spectrum.
Como la ley no tiene un estándar claro de cuánto tiene que funcionar una marca de agua, no se sabe si textGrain cumplirá las reglas de transparencia de Europa. Si no las cumple, le puede costar caro a la empresa, y detectar texto escrito por IA se volverá más difícil a medida que los modelos mejoren.
¿Cómo funciona una marca de agua en un texto?
Los modelos de IA calculan la probabilidad de los distintos "tokens" posibles (la siguiente palabra o fragmento de palabra que generan) a partir del texto ya escrito, eligen uno y repiten el proceso hasta completar la respuesta. Ante la frase "hoy el clima está...", por ejemplo, el modelo podría sopesar "cálido" o "fresco" como siguiente palabra, explicó Xiang Li, coautor del informe técnico de textGrain e investigador posdoctoral de la Universidad de Pensilvania.
Una marca de agua usa una clave secreta para generar valores pseudoaleatorios, números producidos por un proceso matemático que influyen en qué token sugiere el modelo. Eso deja un patrón estadístico en el texto, y un detector con la misma clave secreta puede buscarlo, según Li.
Lo que distingue a textGrain de otras marcas de agua es que usa la entropía, una medida de qué tan impredecibles son las palabras que elige un modelo, como un recurso que se puede presupuestar al incrustar la marca. Los desarrolladores fijan cuánta entropía quieren permitir y textGrain se ajusta a esa meta.
Eso les da más control sobre el equilibrio entre dejar una señal detectable y conservar la variedad en lo que escribe el modelo, dijo Li.
"Podemos pensar en la entropía como un recurso, una especie de dinero. En nuestro enfoque, podemos determinar con precisión cuánto de ese recurso queremos consumir", explicó.
Los límites de la detección
La marca de agua es invisible para el lector. Pero un resultado positivo no muestra cuánto aportó una persona a un pasaje, y un resultado negativo no prueba que el texto lo haya escrito un humano.
La tasa de falsos positivos de OpenAI es de 1%, o sea el detector está diseñado para marcar por error cerca de uno de cada 100 pasajes sin marca. En pruebas con preguntas de psicología de la base ELI5, que reúne preguntas y respuestas del subreddit r/explainlikeimfive, el modelo detectó la marca en cerca de 80% de los textos de 200 tokens (unas 150 palabras) y en 95% de los de 400 tokens (unas 300 palabras).
Li dijo que es una "limitación básica" de las marcas de agua en texto y que sería complicado de resolver. Los pasajes cortos pueden no tener suficiente evidencia de la marca para una detección confiable, incluso con más cómputo, agregó, mientras que los largos en general entregan más.
La edición también debilita la señal. En una evaluación de pasajes de 400 tokens, reemplazar apenas 10% de las palabras por sinónimos bajó la detección de 92% a 66%, y reemplazar hasta 25% la dejó en 17%, según OpenAI. Como la marca depende de los tokens anteriores, cambiar una palabra puede alterar la señal en varias posiciones, explicó Li.
| Prueba en pasajes de 400 tokens | Detección |
|---|---|
| Texto sin editar | 92% |
| 10% de las palabras cambiadas por sinónimos | 66% |
| Hasta 25% de las palabras cambiadas | 17% |
OpenAI sostiene que la marca de agua por sí sola no basta para determinar si un contenido fue generado por IA. TextGrain va a "complementar" otras herramientas de procedencia, como las credenciales de contenido en los metadatos y las marcas SynthID que desarrolló Google DeepMind para imágenes y audio. OpenAI no respondió a una solicitud de comentarios.
¿Qué exige la ley europea de IA?
Las obligaciones de transparencia del artículo 50 de la Ley de IA de la Unión Europea entraron en vigor el 2 de agosto. La ley obliga a los proveedores de sistemas que generan audio, imágenes, video o texto sintéticos a marcar esos resultados en un formato legible por máquina, para que se puedan detectar como generados o manipulados de forma artificial. Las soluciones técnicas deben ser "eficaces, interoperables, robustas y fiables en la medida en que sea técnicamente viable", según el texto legal.
El Código de Buenas Prácticas de la Unión Europea ofrece a los proveedores una vía voluntaria para mostrar cómo van a cumplir. Ese código no exige marcas de agua en resultados de menos de 200 tokens.
Thomas Souverain, investigador posdoctoral en ética de la IA del Institute of Advanced Education de París, dijo que la legislación está abierta a interpretación.
Souverain considera que la metodología inicial de textGrain parece confiable y que podría identificar texto generado por IA mejor que sus competidores. OpenAI asegura que textGrain igualó o superó a SynthID Text de Google en sus propias pruebas, pero esos resultados no se han verificado de forma independiente. Mientras investigadores externos no lo prueben, y mientras los criterios de la Ley de IA no tengan umbrales medibles, es muy pronto para saber si textGrain cumple los requisitos legales.
Souverain dijo que "solo tenemos un estudio técnico" y que "no ha habido un artículo académico revisado por pares". Agregó que tampoco hay acceso a un protocolo preciso de textGrain.
Quiénes lo van a evaluar
OpenAI trabaja con un grupo limitado de investigadores que incluye a John Thickstun, profesor asistente de ciencias de la computación de la Universidad de Cornell, y a investigadores del Kempelen Institute of Intelligent Technologies (KInIT), en Bratislava, Eslovaquia.
Thickstun y Dominik Macko, investigador sénior de KInIT, dijeron que recién habían obtenido acceso y que todavía no empezaban a evaluar el sistema. Macko contó que su equipo planea probar la "robustez" de textGrain en distintas áreas temáticas, idiomas y largos de texto.
Si finalmente se determina que textGrain no cumple los requisitos europeos, OpenAI podría enfrentar una multa de hasta 7% de sus ingresos anuales, según Souverain.
Souverain también le pidió a OpenAI que libere textGrain como código abierto, para que investigadores ajenos a su equipo puedan "identificar todas las fallas, las paráfrasis y los posibles errores de traducción" del modelo tratando de romperlo. Dijo que entiende el interés corporativo de que una falla grande se detecte en privado, pero que preferiría una fase más abierta, como la que existe hoy con SynthID, donde los métodos están disponibles.
