LAION publicó el Big Video Dataset (BVD), uno de los conjuntos de datos de video abiertos más grandes disponibles para investigación en inteligencia artificial.
¿De dónde salió el material?
El punto de partida fueron 1.300 millones de URL de video encontradas en CommonCrawl, el archivo público de rastreo de la web. De ese universo, el equipo descargó 80 millones de videos, que suman 10 millones de horas de material, y a partir de ellos extrajo 55 millones de clips con descripciones de video y de audio generadas automáticamente, más 300 millones de imágenes fijas.
La mayoría de los videos del conjunto provienen de YouTube y el grueso del contenido está en inglés.
¿Sirve para entrenar mejores modelos?
Según el artículo técnico que acompaña la publicación, los modelos entrenados sobre BVD superan a modelos comparables entrenados con InternVid por hasta 2,1 puntos porcentuales en pruebas habituales de video a texto. El entrenamiento amarra video, audio y texto en conjunto, de modo que el modelo aprende qué contenido visual corresponde a qué descripción o a qué sonido.
¿Bajo qué condiciones se libera?
LAION distribuye el conjunto solo para investigación. En lo legal, la organización puede apoyarse con bastante probabilidad en un fallo de 2024 del Tribunal Regional de Hamburgo que le permitió recopilar contenido con derechos de autor para investigación sin fines comerciales. LAION pide a quienes lo usen que respeten los derechos de los creadores del contenido original. Tanto el conjunto de datos como el código están disponibles de forma gratuita.
Las cifras del conjunto, en orden
| Elemento | Cantidad |
|---|---|
| URL de video identificadas en CommonCrawl | 1.300 millones |
| Videos efectivamente descargados | 80 millones |
| Horas de material | 10 millones |
| Clips extraídos con descripción automática | 55 millones |
| Imágenes fijas | 300 millones |
| Mejora sobre InternVid en video a texto | hasta 2,1 puntos porcentuales |
Para dimensionar el salto: 10 millones de horas equivalen a más de 1.140 años de reproducción continua. Y la relación entre las cifras cuenta otra historia. De los 1.300 millones de enlaces detectados, apenas un 6% terminó descargado, lo que da una idea del costo real de armar un conjunto de esta escala: la parte cara nunca es encontrar los videos, es bajarlos, procesarlos y describirlos.
¿Qué significa que casi todo esté en inglés?
Este es el punto que más pesa desde América Latina. Un conjunto de datos que define el estado del arte en modelos de video a texto, y que estará detrás de una generación de sistemas abiertos, aporta muy poca representación del español y prácticamente ninguna de las variantes regionales. Los grupos de investigación de la región que quieran usarlo para tareas en español van a necesitar una etapa propia de traducción o de reetiquetado, un trabajo que no aparece en el costo declarado del conjunto pero que existe igual.
La otra advertencia es de uso: la licencia restringida a investigación no comercial es una limitación real, no un formalismo. Un proyecto universitario chileno puede entrenar sobre BVD y publicar los resultados; una empresa que quiera llevar ese mismo modelo a un producto no puede apoyarse en el amparo legal alemán que cubre a LAION.
