Linux Foundation Research, el brazo de investigación de la Linux Foundation, estima que cerca del 25% de los pull requests que llegan a los proyectos de código abierto son contribuciones de baja calidad hechas con IA, lo que en inglés ya se llama AI slop. En los proyectos grandes la estimación sube a 31%.
La cifra sale de su informe más reciente, Navigating Open Source Software Development in the Generative AI Era, que encuestó a 234 contribuidores y mantenedores sobre cómo la IA generativa está cambiando la forma de hacer software abierto, informó It's FOSS el 22 de octubre. LF Research se creó en 2021 y publica estudios sobre cómo se construye y se usa el código abierto, con encuestas y datos de proyectos.
Red Hat financió el informe, con aportes adicionales de OpenSSF, LF AI & Data y Futurewei.
¿Qué encontró la encuesta?
Los proyectos grandes, los que tienen más de 50 contribuidores, son los más afectados.
Entre sus mantenedores, el 69% reporta más contribuciones entrantes, contra 59% del total de mantenedores, y el 64% dice que las revisiones ahora toman más tiempo. El agotamiento es su principal preocupación, con 63%, apenas por encima de la calidad de las contribuciones, con 60%.
Las políticas tampoco se han puesto al día con la programación asistida por IA ni con el reporte de vulnerabilidades hecho con IA. De los 119 encuestados que respondieron la pregunta, el 35% dijo que su proyecto tiene una política formal que permite usar IA. Otro 32% no tiene ninguna ni planea tenerla, el 23% planea escribir una y el 10% prohíbe del todo las contribuciones hechas con IA.
Algunos proyectos, como LLVM, aceptan código generado con IA bajo condiciones. Aparte, el 26% de los proyectos no tiene ninguna forma de verificar las contribuciones asistidas por IA.
El informe pide a los contribuidores trabajar en políticas escritas, declarar el uso de IA y cuidar las pruebas y la documentación.
¿Ahorra tiempo la IA?
Según los encuestados, sí. Estiman que escribir código toma en promedio un 52% menos de tiempo, aunque en las tareas más complejas el 21% dijo que el trabajo tomó más tiempo con IA.
La mayoría de los mantenedores (71%) dice que la IA facilita que los recién llegados empiecen a contribuir. Un poco más de la mitad (53%) dice que no ha mejorado la confianza dentro de la comunidad, y solo el 13% dice que sí.
Las advertencias del propio estudio
Los encuestados se reclutaron por los boletines y redes sociales de la Linux Foundation, además de canales de socios como Red Hat. Y la cifra del 25% de contribuciones basura es una estimación de 111 encuestados, no un conteo medido.
It's FOSS apunta a otro problema. Hoy la declaración del uso de IA queda casi siempre a criterio de cada persona, y un cuarto de los proyectos no tiene cómo revisar nada. Eso solo funciona si quienes mandan contribuciones de baja calidad se toman la molestia de declararlo, y el medio recuerda casos en que no lo hicieron, como el del proyecto curl, que cerró su programa de recompensas por fallas.
