Google DeepMind liberó EmbeddingGemma 2, un modelo de IA de pesos abiertos que permite buscar entre fotos, videos, audio y texto sin enviar esos datos a la nube. Según Hackster.io, está diseñado para dispositivos de borde, como teléfonos y computadores con poca memoria.

Es un modelo de embeddings multimodal de 740 millones de parámetros. No genera texto como un modelo de lenguaje convencional. Convierte la información en vectores numéricos que representan su significado, y esos vectores se comparan entre sí para medir cuán relacionados están dos contenidos.

El modelo hace eso con varios tipos de medios a la vez. Texto, imágenes, cuadros de video y audio caen en el mismo espacio vectorial, así que una descripción escrita se puede comparar directo contra una fotografía o contra un momento de un video.

¿Cuánta memoria necesita?

Google pensó EmbeddingGemma 2 para hardware de borde. El modelo multimodal completo funciona con cerca de 567 MB de RAM activa en un Pixel 11 Pro. Una aplicación que use solo la parte de texto puede bajar a 191 MB.

Parte de ese ahorro viene de una arquitectura modular. Los desarrolladores cargan solo los codificadores que su aplicación necesita, en vez de mantener en memoria el sistema multimodal entero. El entrenamiento consciente de la cuantización, con pesos INT4 e INT8, reduce todavía más el espacio que ocupa.

Búsqueda en fotos, videos y más

Google muestra estas capacidades con funciones nuevas en su aplicación AI Edge Gallery. Instant Media Search genera embeddings de las fotos y videos guardados en el equipo, los almacena en una base de datos SQLite y deja buscar en la colección con lenguaje natural o con otra imagen.

Video Moments Finder aplica la misma idea a momentos puntuales dentro de un video. Un usuario puede buscar algo como "persona soplando las velas de cumpleaños" y el programa identifica las marcas de tiempo que coinciden, sin generar antes subtítulos para toda la grabación.

EmbeddingGemma 2 también sirve para clasificación zero-shot. En vez de entrenar un clasificador dedicado, el desarrollador entrega las etiquetas posibles con sus descripciones y el modelo decide cuál se parece más a una imagen, un texto o un audio de entrada.

¿Dónde se puede usar?

Google da soporte a EmbeddingGemma 2 a través de MediaPipe Tasks y LiteRT. El soporte en ML Kit para Android llegará en las próximas semanas, y los paquetes de modelo LiteRT ya cuantizados están disponibles desde ahora.

Para un desarrollador, eso significa que la búsqueda multimodal ya no exige varios modelos ni conexión a la nube. EmbeddingGemma 2 junta esas funciones en un modelo lo bastante chico para correr en hardware de consumo, y los datos que se buscan se quedan en el dispositivo donde se crearon. Los detalles están en el anuncio oficial de Google.