Google publicó un camino oficial para que una Raspberry Pi 5 ejecute modelos de inteligencia artificial en forma local, sin enviar las consultas a un servidor externo. La pieza central es LiteRT, el entorno de ejecución en dispositivo de Google, y el tutorial que lo demuestra apareció en el sitio de Raspberry Pi el 13 de agosto de 2026, firmado por Naush Patuck, ingeniero y jefe de desarrollo de software de la compañía británica.
El recorrido no se queda en el modelo de lenguaje. Patuck combina LiteRT con el robot Reachy Mini para resolver tareas de visión y de lenguaje en la propia placa, en lugar de derivarlas a un servicio remoto. En el flujo participan los modelos compactos Gemma 3 270M y EmbeddingGemma 300M, además de las variantes mayores Gemma 4 E2B y E4B. Para la parte visual se suman YOLO26n, encargado de la detección de objetos, y MediaPipe Selfie Segmenter para el procesamiento de imagen.
¿Qué velocidad alcanza cada modelo?
Las mediciones se hicieron sobre la Raspberry Pi 5 de 8 GB con LiteRT-LM, y muestran la brecha real entre los modelos chicos y los grandes.
| Modelo | Prefill (tokens/s) | Decodificación (tokens/s) |
|---|---|---|
| Gemma 3 270M | 433,17 | 22,58 |
| Gemma 4 E2B | 99 | 9 |
Gemma 4 E2B entrega una velocidad de generación de extremo a extremo cercana a 27,3 caracteres por segundo, un ritmo que sirve para respuestas breves pero que se vuelve incómodo en textos largos. La diferencia con Gemma 3 270M es de más de cuatro veces en la fase de prefill, lo que convierte la elección del modelo en la decisión más determinante del proyecto.
¿Por qué la GPU rinde peor que la CPU?
El dato más contraintuitivo del tutorial está en la visión por computador. YOLO26n registró una latencia de 101,26 ms sobre la CPU y de 375,73 ms usando el backend WebGPU Vulkan de LiteRT sobre la GPU. Es decir, la ruta acelerada por gráficos resultó casi 3,7 veces más lenta que la ruta convencional en esta plataforma.
La lectura práctica es directa: en la Raspberry Pi 5, activar la GPU no garantiza una mejora, y conviene medir antes de asumir que el backend acelerado es el camino correcto. La VideoCore VII de la placa no está pensada para cargas de inferencia intensiva, y el costo de mover datos entre memoria y GPU se come la ganancia teórica.
¿Qué hace falta para replicarlo?
La herramienta de línea de comandos de LiteRT pesa alrededor de 25 MB, una descarga menor. El peso real está en los modelos, que van desde los compactos Gemma 3 270M y EmbeddingGemma 300M hasta variantes de varios gigabytes. Eso obliga a planificar almacenamiento y memoria antes de empezar: una tarjeta microSD ajustada o una placa de 4 GB dejan fuera las variantes mayores.
La Raspberry Pi 5 de 8 GB mantiene un precio de lista oficial de 95 dólares, al que en Chile hay que sumar importación, IVA y margen del distribuidor local. Es la barrera de entrada más baja que existe hoy para experimentar con IA generativa en dispositivo sin comprar una placa de aceleración dedicada, y explica por qué el ecosistema de talleres y clubes de robótica de la región se apoya en esta placa antes que en alternativas de mayor costo.
Qué gana quien procesa en local
Correr Gemma sobre la placa evita enviar las consultas a un servicio externo y permite que el procesamiento ocurra sin conexión a internet. El precio de esa autonomía es un rendimiento menor al de plataformas de cómputo más potentes, una compensación que el propio tutorial reconoce.
Para quien desarrolla, la combinación de LiteRT con los modelos Gemma compactos entrega una plataforma concreta para probar aplicaciones de IA donde el procesamiento local es preferible, ya sea por privacidad, por costo de operación o simplemente porque el equipo tiene que funcionar en terreno sin cobertura.
