Etiquetar una hora de video de robots cuesta unos 72 centavos de dólar con Flora, el motor de datos abierto que NVIDIA publicó esta semana. Con GPT-6 Astra la misma tarea sale cerca de 88 dólares. La diferencia en calidad, eso sí, es bastante menor de lo que sugiere el precio, según el análisis de The Decoder del 25 de octubre.
Los modelos grandes para robots aprenden de videos que necesitan anotaciones de texto. El laboratorio de investigación GEAR de NVIDIA distingue tres tipos de etiquetas. Primero, descripciones de qué acción ocurre y en qué momento del video, que sirven para elegir datos de entrenamiento. Segundo, calificaciones de cómo avanza el robot paso a paso, para que aprenda por ensayo y error. Y tercero, juicios sobre si la tarea se completó, que se usan para vigilar a los robots ya desplegados.
La mayoría de las herramientas existentes entrega solo uno de esos tipos. Modelos de lenguaje como GPT-6 Astra pueden generar varios, pero salen demasiado caros para los volúmenes de video que se manejan en robótica.
¿Cómo funciona Flora?
Flora corta los videos en segmentos de tiempo, describe cada acción y evalúa la ejecución y el resultado de cada episodio. Según el paper, cubre los tres tipos de etiqueta. NVIDIA dice que el sistema ya corre durante el entrenamiento de sus modelos GR00T, donde anota hasta 200.000 horas de video al día repartidas en 512 GPU GB300. Los modelos están disponibles en Hugging Face.
El sistema se compone de tres modelos Qwen3.5 afinados:
- Un modelo de 9B parámetros divide los videos en segmentos de acción.
- Un modelo de 27B los describe, considerando lo que pasó antes y después de cada acción.
- Un segundo modelo de 27B, llamado Flora-Rewarder, cumple tres funciones según el prompt. Califica el éxito de un episodio en una escala de 1 a 5, clasifica cada paso de medio segundo como normal, subóptimo o fallido, y asigna puntajes a partir de rúbricas definidas por el usuario.
Hasta 125 veces más barato, según la propia NVIDIA
En una prueba con 50 videos, Flora obtuvo un puntaje algo mejor que GPT-6 Astra, de acuerdo con NVIDIA, aunque al modelo de OpenAI se le permitió usar toda su capacidad de razonamiento. Flora llega a 57,1% de calidad de anotación con 0,72 dólares por hora de video. GPT-6 Astra alcanza 53,7% con 88,49 dólares. Claude Opus 5 sacó un puntaje bastante peor en la misma prueba y aun así costó unos 42 dólares por hora.
| Modelo | Calidad de anotación | Costo por hora de video |
|---|---|---|
| Flora | 57,1% | 0,72 dólares |
| GPT-6 Astra | 53,7% | 88,49 dólares |
| Claude Opus 5 | más baja (sin cifra publicada) | cerca de 42 dólares |
Las cifras de costo de Flora son proyecciones y no mediciones en producción. NVIDIA las calculó suponiendo un arriendo de 10 dólares por GPU por hora.
Flora ubica mejor las acciones, Astra las describe mejor
En el benchmark público WGO-Bench, Flora es el mejor detectando dónde empieza y termina cada acción, pero queda detrás de Astra en el puntaje total y detrás de Gemini 3.8 Flash en precisión descriptiva pura. Según los investigadores, la ganancia viene sobre todo de la ubicación temporal.
En DenseCaptionBench, el benchmark propio de NVIDIA, Flora lidera en todas las métricas con grabaciones de personas. Con videos de robots queda segundo, detrás de Astra. Los investigadores reconocen además un problema de método. GPT-6 Astra evalúa las descripciones y al mismo tiempo es uno de los modelos que se están probando.
Flora gana en grabaciones humanas, calificación de resultados y evaluación paso a paso. GPT-6 Astra gana en WGO-Bench, videos de robots y puntaje por rúbricas.
¿Qué detecta Flora que los demás no ven?
En RoboRewardBench, la tasa de error de Flora es 27,8% más baja que la de Astra. El paper atribuye la brecha a las tareas completadas a medias. Cuando un robot solo vuelca una botella en vez de tirarla de la mesa, Flora le asigna 3 de 5 puntos, igual que la referencia humana. Astra le da uno.
Flora-Rewarder detecta el 53,3% de los pasos fallidos dentro de un episodio. Ningún competidor pasa de 11,7%, y Astra no detecta ninguno. El costo es que Flora marca como error cerca del 11% de los pasos normales. Astra sigue adelante en la calificación por rúbricas y en el ordenamiento de trayectorias.
En un video con muchos movimientos cortos de mano, Flora identifica 34 de 37 acciones individuales, mientras Astra reconoce solo cuatro. En contra, Flora a veces divide acciones largas en demasiados pasos pequeños y en ocasiones se equivoca al describir. En un video, una mano robótica limpia un plato con un paño y Flora lo describe como doblar una servilleta.
La apuesta de NVIDIA en robótica
NVIDIA presenta Flora como una alternativa abierta a servicios comerciales como el Physical AI Data Engine de Scale AI. Los investigadores pueden usarla para escalar sus propios conjuntos de datos de robótica y probar enfoques como traspasar demostraciones humanas a robots. La empresa invierte miles de millones en modelos de IA abiertos para mantener a los desarrolladores dentro de su ecosistema de hardware y empujar la demanda de sus chips, y Flora apunta a lo mismo.
NVIDIA lleva tiempo intentando compensar la escasez de datos de entrenamiento para robótica con simulación y procesamiento automático. En GTC, a comienzos de este año, mostró una cadena de datos que prepara, multiplica y califica material de entrenamiento de forma automática. Flora le agrega etiquetas detalladas y señales de recompensa sacadas del video.
Todo esto calza con la estrategia de NVIDIA de cubrir la cadena completa de la robótica, desde el hardware y los datos hasta la simulación y los modelos. Gemini 4 Argon, anunciado hace poco por Google, apunta a la misma parte del proceso, porque también identifica pasos de trabajo en videos de entrenamiento y marca las acciones fallidas.
