Investigadores de Baidu construyeron un modelo de OCR capaz de procesar decenas de páginas de documentos en una sola inferencia, con memoria y velocidad estables sin importar el largo del texto. La clave es un rediseño del mecanismo de atención que rompe el techo de las diez páginas por corrida que dominaba a la industria hasta ahora, según reportó The Decoder.

Los autores describen el cuello de botella en su reporte técnico: el KV cache, el buffer donde un modelo de lenguaje guarda todos los tokens ya procesados para consultarlos después. Los sistemas end-to-end actuales usan un LLM como decodificador, así que ese buffer crece con cada línea nueva. La memoria se dispara y la generación se enlentece. En la práctica, los pipelines existentes procesan página por página y resetean el cache en cada paso.

¿Cómo funciona Reference Sliding Window Attention?

Baidu enmarca el problema con una analogía humana. Alguien que copia un libro a mano no relee todo lo que ya escribió: mantiene la vista sobre el original, sobre los últimos caracteres que puso en el papel y sobre el próximo que va a poner. Los pasajes viejos se desvanecen con un olvido suave. Los investigadores quieren que Unlimited OCR imite ese patrón.

El mecanismo se llama Reference Sliding Window Attention (R-SWA). Cada token generado sigue viendo todos los tokens de referencia (los tokens visuales de la imagen y el prompt). Pero cuando mira hacia atrás en el output ya generado, solo alcanza los últimos 128 tokens. Eso mantiene el KV cache constante durante todo el proceso, en vez de crecer linealmente con el largo de la salida.

La atención por ventana deslizante estándar también degradaría los tokens visuales, difuminando gradualmente los rasgos de la imagen y arruinando el reconocimiento. R-SWA exceptúa a los tokens visuales de ese desgaste. Se codifican una sola vez y quedan intactos.

El KV cache funciona como una cola donde cada token nuevo empuja al más viejo hacia afuera. Con atención multi-cabezal estándar, el consumo de memoria crece sin techo mientras suben los tokens. R-SWA lo tope en la suma fija del prefijo más el tamaño de la ventana.

¿Qué hay debajo del modelo?

Unlimited OCR se construyó sobre el modelo open source Deepseek OCR. Baidu mantiene su DeepEncoder y lo empareja con una arquitectura mixture-of-experts (MoE) de 3.000 millones de parámetros totales, de los cuales solo unos 500 millones están activos en cada inferencia. El DeepEncoder comprime una imagen de PDF de 1.024 por 1.024 píxeles a 256 tokens.

Dos modos de resolución sobreviven al rediseño. El modo "Base" atiende documentos multi-página, y el modo "Gundam" aplica resolución dinámica a páginas sueltas. Cada capa de atención estándar del decodificador fue reemplazada por R-SWA.

El entrenamiento usó unos 2 millones de muestras de documentos, divididas 9 a 1 entre datos de una página y multi-página. Paddle OCR anotó las páginas sueltas. Los datos multi-página se construyeron sintéticamente pegando páginas individuales en documentos de dos a 50 páginas de largo. Todo se empaquetó en secuencias de 32.000 tokens; el entrenamiento corrió 4.000 pasos sobre 8 nodos de 16 GPUs Nvidia A800 cada uno. El DeepEncoder se dejó congelado y solo se actualizaron los parámetros del modelo de lenguaje.

¿Cuánto mejora sobre Deepseek OCR?

Unlimited OCR obtiene 93% en OmniDocBench v1.5, seis puntos porcentuales sobre el baseline de Deepseek OCR según los autores. El benchmark mide varias subtareas. La tasa de error en reconocimiento de texto puro, medida como distancia de edición (correcciones por carácter), baja levemente. La estructura de tablas mejora más nítido, casi seis puntos. En la versión v1.6 más reciente, el modelo llega a 93,92%, punteando el ranking de sistemas end-to-end.

En la prueba de horizonte largo, donde el modelo procesa muchas páginas en una sola pasada, la tasa de error se mantiene bajo 0,11 incluso pasadas las 40 páginas. Los autores atribuyen los errores restantes no a contexto perdido sino al límite de resolución del DeepEncoder en modo Base cuando el texto es diminuto.

Restringir la ventana a 128 tokens en páginas sueltas no daña la precisión. De hecho ayuda un poco. Los investigadores suponen que R-SWA obliga al modelo a concentrarse más fuerte en la tarea densa de OCR, mientras que la atención total tiende a divergir a medida que la salida se alarga.

El cache constante también paga en velocidad. En modo Base, Unlimited OCR alcanza 5.580 tokens por segundo contra 4.951 de Deepseek OCR, una mejora de 12,7%. En una comparación teórica de cotas superiores con paralelismo ideal, el modelo saca 35% de ventaja al baseline en torno a los 6.000 tokens de salida, mientras el throughput del baseline cae de manera sostenida con el largo.

Para el parseo de documentos largos, la fortaleza principal del modelo, sostiene una distancia de edición inferior a 0,11 y un puntaje Distinct-35 de 97% incluso con 40 páginas o más. Los errores aparecieron sobre todo con texto muy chico, que los investigadores rastrean al límite de resolución del modo Base y no a un problema de orientación de R-SWA.

No es del todo ilimitado

El contexto fijo de 32.000 tokens del modelo aún limita cuántas páginas puede tragarse, porque los tokens visuales se acumulan con cada página adicional. Baidu planea entrenar próximamente versiones de 128.000 tokens y, más adelante, construir un prefill pool que permita al modelo salir a buscar bloques KV relevantes por su cuenta, como si hojeara un libro. Los autores también ven a R-SWA transferible a otras tareas basadas en referencias, como reconocimiento de voz y traducción.

Código y pesos están disponibles en GitHub y Hugging Face. El modelo corre en ModelScope y en los motores de inferencia vLLM y SGLang, con una demo pública en Hugging Face Spaces.

Contexto: OCR como frente activo de la IA

El OCR se volvió uno de los frentes más activos de la IA generativa, con modelos compitiendo principalmente en eficiencia de tokens. El interés va más allá del reconocimiento documental. Como el texto embebido en imagen consume mucho menos cómputo que su equivalente digital, el método podría extender la memoria de los modelos de lenguaje para historiales largos o documentos grandes. Los desarrolladores ya usan esto para recortar costo de tokens en Fable 5 de Anthropic.

Deepseek empujó en la misma dirección hace unos meses con Deepseek OCR 2, un encoder que reordena la información de la imagen por semántica en vez de leer rígido de arriba-izquierda a abajo-derecha. Marca 91,09% en OmniDocBench v1.5. Mistral AI amuralla su posición con Mistral OCR 3, que promete mejor reconocimiento de manuscritos, formularios y tablas complejas. Para Baidu, este trabajo se enchufa en su ofensiva de IA más amplia: la compañía acaba de lanzar Ernie 5.1, un modelo multimodal que quedó como el modelo chino mejor rankeado en LMArena.

Los libros escaneables rápido también son atractivos como datos de entrenamiento para nuevos modelos de lenguaje, un tema que enciende debate. Investigadores han demostrado que los modelos grandes pueden reproducir casi textualmente pasajes de libros con derechos vigentes como Harry Potter o El Hobbit.