En octubre pasado los ingenieros de Meta anunciaron OpenZL como framework de compresión consciente del formato. OpenZL apunta a ser veloz pero capaz de entregar ratios de compresión altos dependiendo de qué se esté comprimiendo. Meta lo presenta como su próximo salto en compresión de datos, más allá de su excelente trabajo en Zstandard (Zstd). Esta semana, finalmente, hay una nueva versión disponible.

OpenZL v0.2 ya está disponible. El framework recibe una descripción de los datos que serán comprimidos y construye una compresión especializada y optimizada para esos datos. Este software con licencia BSD experimentó muchos cambios de código desde el debut v0.1 en octubre.

¿Qué trae OpenZL 0.2?

El lanzamiento OpenZL 0.2 introduce SDDL2 como nuevo runtime, que se convierte en un "verdadero compilador" gracias al uso del Simple Data Description Language para describir formatos de archivos binarios.

OpenZL 0.2 también presenta un nuevo códec LZ nativo que ofrece compresión 10% más rápida y descompresión 70% más rápida comparado contra Zstandard nivel 1.

La utilidad zli de OpenZL es ahora compatible con "entradas enormes" de varios gigabytes de tamaño.

OpenZL 0.2 también incluye mejoras de API, mejoras de build y packaging para distintas plataformas, y otras mejoras, con Meta continuando una inversión fuerte en este framework de compresión.

¿Por qué importa que Meta empuje un sucesor de Zstandard?

Zstandard, también obra de Meta, hoy es el algoritmo de compresión por defecto en buena parte de la infraestructura de internet: lo usan Linux para imágenes initramfs, Btrfs y ZFS para compresión transparente de filesystems, y servicios cloud para reducir transferencia entre regiones. Que el equipo detrás de Zstd ahora libere algo que asegura ser más rápido y específico por formato implica que la próxima generación de pipelines de datos puede ser más eficiente sin cambiar de proveedor.

¿Qué cambia para integradores y operadores LATAM?

Para operadores en LATAM, donde la transferencia internacional de datos sigue siendo cara comparada con el costo de cómputo local, una compresión 70% más rápida en descompresión significa servidores que pueden procesar más requests por segundo y respuestas que llegan antes al usuario. En el caso particular de un proyecto IoT en Chile que reciba telemetría binaria de miles de dispositivos por hora, OpenZL aplicado al esquema específico del payload puede reducir tanto el ancho de banda como la latencia de procesamiento.

Tres datos comparativos

  • Licencia: BSD, lo que permite uso comercial sin restricciones de copyleft (a diferencia, por ejemplo, de GPL).
  • Velocidad de descompresión: 70% más rápida que Zstandard nivel 1, según las cifras del propio anuncio.
  • Soporte zli: el binario CLI maneja entradas de varios gigabytes, comparable a la utilidad zstd pero con la ventaja del esquema declarativo de OpenZL.

Quienes quieran profundizar en OpenZL 0.2 pueden encontrarlo en GitHub.