Un profesor que sospecha que el trabajo de un estudiante lo escribió un modelo de lenguaje (LLM) puede usar una herramienta de detección de texto generado por inteligencia artificial para confirmar su sospecha. Pero tal vez convenga pensarlo dos veces antes de confiar del todo en el detector.
Investigadores del MIT y de la Universidad de Cornell demostraron que estas herramientas, que también son modelos de IA, pueden ser engañadas con texto generado por IA disfrazado para que parezca escrito por una persona. Los detectores además pueden fallar por cambios naturales en la forma de escribir a lo largo del tiempo o por la aparición de nuevos LLM.
En un paper nuevo, los investigadores mostraron cómo una técnica especial de entrenamiento hace que un detector sea más preciso y resistente al engaño, aun cuando la escritura humana y la de la IA cambian todo el tiempo.
Usaron un método llamado adaptación en el momento de la prueba (test-time adaptation, TTA), que permite a un modelo de detección ya desplegado aprender de datos nuevos sin etiquetar, ajustando su funcionamiento interno sobre la marcha. Así el modelo se adapta a entradas que no ha visto sin tener que volver a entrenarse desde cero.
En los experimentos, un detector comercial solo pudo identificar cerca del 27% del texto generado por IA que venía disfrazado, mientras que el enfoque nuevo alcanzó 93% de precisión.
Según el MIT, el método podría ayudar a profesores, editores, casas editoriales y encargados de contratación a marcar textos generados por LLM que alguien intenta hacer pasar por escritos humanos. También podrían usarlo especialistas en ciberseguridad para frenar estafas de phishing por correo o detectar fraudes de posicionamiento en buscadores.
"Hay muchos contextos de alto riesgo en los que a la gente realmente le importa la identidad del autor, desde la publicación científica hasta los concursos de cuentos. Mostramos que la adaptación en el momento de la prueba permite que tu detector de IA sea mucho más robusto, incluso con un comportamiento adversarial continuo de los usuarios de IA", dice Manish Raghavan, coautor del estudio y profesor Drew Houston (2005) Career Development de la MIT Sloan School of Management, con un cargo compartido en el Schwarzman College of Computing del MIT en el Departamento de Ingeniería Eléctrica y Ciencias de la Computación (EECS), e investigador principal del Laboratorio de Sistemas de Información y Decisión (LIDS).
Lo acompañan en el paper el autor principal, Kevin Ren, estudiante de posgrado en Cornell Tech, y el autor senior, Nikhil Garg, profesor asistente de Cornell Tech. La investigación se presentará en la Conference on Neural Information Processing Systems (NeurIPS).
¿Por qué fallan los detectores?
La proliferación de LLM que generan texto parecido al humano dio paso a una gran cantidad de herramientas comerciales de detección, que ayudan a saber si un escrito lo hizo una persona.
Pero estas herramientas pueden fallar cuando el texto que evalúan difiere mucho de los textos con los que se les enseñó a distinguir. Eso se conoce como cambio de distribución.
Quienes desarrollan detectores suelen entrenar sus modelos reuniendo textos de internet que saben que fueron generados por IA o por personas, y le enseñan al modelo a diferenciarlos.
Sin embargo, una vez que el detector sale al público, la gente puede cambiar su manera de escribir o la forma en que usa la IA para generar texto.
Por ejemplo, una persona en 2030 puede escribir sobre otros temas, con analogías nuevas que no eran comunes para alguien que escribía en 2010. Un detector entrenado con datos de 2010 podría no reconocer ese estilo nuevo y marcar como generado por IA un texto escrito por una persona.
El lanzamiento de un detector también desata un juego del gato y el ratón entre quienes lo desarrollan y los usuarios que quieren burlarlo. Esas personas pueden pasar el texto generado por IA por un "humanizador" automático, un software que lo modifica para que el detector lo vea como humano.
"Después de que la empresa lanza un modelo, aparecen un montón de 'humanizadores' que intentan vencerlo, entonces la empresa trata de incorporar ese texto humanizado a su entrenamiento para que el detector lo identifique, y así sucesivamente. Es como enjuagar y repetir. El ciclo puede seguir para siempre", dice Ren.
Los investigadores exploraron si la TTA puede hacer que un detector de IA resista estos cambios de distribución.
¿Cómo funciona la adaptación?
Con la TTA, en vez de congelar el modelo para que no cambie durante su uso, los investigadores permiten que se adapte por sí solo a los datos que recibe después de su lanzamiento. En un detector de texto de IA, esos datos son los textos nuevos que suben los usuarios.
Esos datos no tienen etiqueta, así que quienes desarrollan el detector no saben cuáles escribieron personas y cuáles modelos de IA. Pero representan la escritura humana y de IA contemporánea, que es justo lo que los desarrolladores quieren que el modelo pueda predecir.
Con suficientes ejemplos, el detector aprende a identificar patrones para decidir qué datos son de IA y cuáles humanos.
Para estudiar la TTA, los investigadores armaron conjuntos de datos con una proporción conocida de textos generados por IA y por personas, pero no le entregaron esas etiquetas al modelo. También usaron LLM para generar ejemplos que se parecen a textos de IA hechos específicamente para evadir un detector.
Luego ejecutaron el proceso de entrenamiento con TTA y probaron el modelo con datos de referencia verificados.
En los experimentos que imitaban el cambio natural del lenguaje humano con el tiempo, un detector con TTA acertó en 85% de los casos, mientras que los métodos tradicionales solo llegaron a 73%.
Y frente a textos escritos para burlar las herramientas de detección, los métodos existentes solo identificaron cerca del 27%, mientras que la TTA permitió al modelo detectar más del 93% del texto disfrazado.
"La TTA tiene el potencial de ayudar de verdad a los modelos de detección de IA ya desplegados, porque les permite enfrentar de manera proactiva este comportamiento iterativo de 'hacer trampa' de los usuarios adversariales de IA", dice Ren.
Adaptarse a los cambios en la forma de escribir de las personas es un problema más difícil para la TTA, porque esos cambios son más lentos y ocurren de maneras más sutiles, agrega.
Los límites del método
Los investigadores advierten que la TTA no siempre será una solución efectiva, a medida que los futuros LLM produzcan un lenguaje más natural y se haga más difícil encontrar texto humano verificable para entrenar.
"No está del todo claro si este será un problema que se pueda resolver", dice Raghavan. "Hay preguntas grandes y abiertas sobre cómo hay que pensar la ciencia, la escritura y el arte en un mundo donde no es factible distinguir entre el contenido generado por humanos y el contenido de IA."
Más adelante, los investigadores quieren explorar otros dominios estratégicos donde la TTA pueda servir y construir mejores herramientas de evaluación comparativa para que los ingenieros mejoren estos modelos de detección de manera dinámica.
El proyecto usó créditos de API entregados por Pangram para acceder a sus detectores de texto de IA.




