Nota del blog de Raspberry Pi. La mayoría de las cargas de IA en el borde caben en la CPU, pero los aceleradores importan para la minoría que la CPU no alcanza a cubrir. Quien usa Raspberry Pi tiene varias opciones de aceleración, desde los AI HAT+ y HAT+ 2 de la propia Raspberry Pi hasta productos de otras empresas del ecosistema. En este artículo, Sixfab y DEEPX cuentan cómo correr visión e IA de lenguaje compacta en una Raspberry Pi 5 con el Sixfab AI HAT+, y qué permite una NPU de tres vatios en el borde.

Raspberry Pi puso el desarrollo de IA al alcance de millones de ingenieros, estudiantes y makers. El paso siguiente es pasar de un modelo que corre una vez, en una demostración, a un sistema que se mantiene mirando, entendiendo y respondiendo sin depender de una conexión permanente a la nube.

El Sixfab AI HAT+ para Raspberry Pi 5 es una placa aceleradora de IA de terceros construida alrededor de la NPU DX-M1M de DEEPX. Suma 25 TOPS de aceleración de IA dedicada con un consumo típico sostenido de la NPU de cerca de 3 W, y deja la CPU de la Raspberry Pi libre para manejar la cámara, la lógica de la aplicación, la conectividad y el control del equipo. Sixfab y DEEPX quieren mostrar en qué es buena de verdad esa combinación, dónde no es la herramienta correcta y cómo llegar del primer arranque a la primera inferencia en pocos minutos.

Por qué el titular son tres vatios y no los TOPS

Las cifras de TOPS máximos sirven para el marketing, pero la mayoría de los productos en el borde se juegan la vida en su presupuesto de energía y temperatura. El sistema real necesita margen para la propia Raspberry Pi, una cámara, el almacenamiento, la red y lo que sea que el equipo controle. Un acelerador que se queda en torno a 3 W bajo carga sostenida permite gabinetes más chicos, una refrigeración más simple (muchas veces pasiva) y una IA que corre de forma continua en vez de en ráfagas cortas.

Esa eficiencia es lo que vuelve práctica la IA local donde más se necesita. Cámaras inteligentes, robots, equipos industriales y sensores distribuidos, donde la latencia de la nube, la conectividad o la privacidad de los datos serían de otro modo la limitación.

NOTA DE INGENIERÍA. La cifra de unos 3 W se refiere al consumo típico sostenido de la NPU en la opción DX-M1M de 25 TOPS, no al consumo total del sistema en el enchufe. Mide siempre tu configuración final de Raspberry Pi con su cámara, su almacenamiento, su carga de trabajo y su refrigeración reales.

Una NPU para tres clases de inteligencia

La mayoría de los productos en el borde parten por la percepción. Una CNN detecta un objeto, segmenta un área de trabajo, estima una pose o marca un evento anómalo. La generación siguiente de sistemas en el borde necesita además entender el contexto y comunicar lo que ve. La DX-M1M está diseñada para cubrir todo ese recorrido con un solo chip y una sola cadena de herramientas.

CNN, percepción visual eficiente

La detección de objetos, la clasificación, la segmentación, la estimación de pose, la profundidad y la mejora de imagen convierten los píxeles de la cámara en eventos estructurados. El ModelZoo de DEEPX trae ejemplos ya optimizados, entre ellos detectores de la familia YOLO, modelos de segmentación y de pose, y DX-Stream ayuda a armarlos en flujos de cámara basados en GStreamer.

VLM compacto, de la visión al significado

Un modelo compacto de visión y lenguaje suma comprensión del contexto sobre los resultados visuales. Puede describir una escena, responder una pregunta acotada sobre una imagen o interpretar un evento en lenguaje natural, todo de forma local y sin que nada salga del equipo.

SLM, conversar con el sistema en el borde

Un modelo de lenguaje pequeño puede interpretar una orden del usuario, resumir eventos locales o generar una explicación breve. Eso crea una interfaz natural para cámaras, robots y máquinas sin pasar cada interacción por la nube.

¿Cuánta memoria tiene?

Lo primero que pregunta cualquier desarrollador sobre modelos de lenguaje en el borde es cuánta memoria hay disponible y qué tamaño de modelo cabe. El módulo DX-M1M lleva 2 GB de LPDDR4x dedicados en el propio módulo, que alcanzan para cargas de VLM y SLM junto a los modelos de visión.

La precisión importa más que un benchmark máximo

El rendimiento de la IA en el borde solo sirve si el modelo se mantiene preciso con las imágenes y condiciones que de verdad enfrenta la aplicación. DEEPX trata la optimización a INT8 como un proceso de ingeniería que cuida la precisión, no como un simple paso de conversión.

  • Partir con una línea base de precisión en FP32 conocida y una métrica de la aplicación bien definida.
  • Calibrar con datos representativos del entorno real de despliegue, no solo con imágenes de muestra limpias.
  • Compilar y optimizar el modelo con DX-COM en un archivo de despliegue portable .dxnn.
  • Comparar precisión, latencia, consumo y comportamiento térmico en el sistema Raspberry Pi final.

Esto pesa más en las condiciones difíciles que de verdad enfrentan las cámaras en el borde. Poca luz, reflejos, desenfoque por movimiento, oclusión y ángulos poco habituales. Un resultado creíble muestra a la vez la ganancia de eficiencia y la precisión que conserva la aplicación.

¿Qué tan rápido es, en la práctica?

Las cifras le ganan a los adjetivos. Sixfab y DEEPX publicaron mediciones hechas en una Raspberry Pi 5 de 8 GB con la versión comercial del software de Sixfab, comparando las NPU DX-M1M y DX-M1. La diferencia de rendimiento entre las dos viene de la memoria. La DX-M1 usa LPDDR5 y la DX-M1M usa LPDDR4X, con distinto ancho de banda.

Del primer arranque a la primera inferencia

La forma más rápida de entender la plataforma es verificar el hardware, correr un modelo ya empaquetado y mirar cómo trabaja la NPU. En Raspberry Pi OS son estos comandos.

Código
sudo apt update && sudo apt install apt-repo-sixfab
sudo apt update && sudo apt install sixfab-dx
dxrt-cli -s        # confirm device and software status
run_hello_world    # run a packaged example
dxtop              # observe the NPU in real time

Desde ahí se puede elegir una carga optimizada del ModelZoo o traer un modelo ONNX propio compatible a través de DX-COM. El archivo .dxnn resultante corre con las API de C++ o Python de DX-RT, mientras la aplicación de la Raspberry Pi sigue a cargo de las cámaras, la lógica de negocio, las interfaces de usuario, la red y el control.

¿Qué se puede construir con él?

Se puede partir en la casa. Una cámara sobre el banco de trabajo que reconoce cuando falló la impresión 3D y te manda una foto con una descripción de una línea. Una cámara en la puerta que distingue entre un repartidor, el gato del vecino y alguien merodeando, y que cada tarde resume los eventos del día, todo de forma local. Un monitor del jardín o de la mascota que solo avisa de lo que vale la pena ver. Todos siguen el mismo ciclo. Una CNN ve el evento, un VLM compacto le suma contexto, un SLM lo explica o interpreta tu siguiente orden, y la aplicación de la Raspberry Pi decide y actúa.

El mismo ciclo escala a despliegues serios. Detección local continua en cámaras inteligentes con menos dependencia de la nube, monitoreo visual de calidad y seguridad de bajo consumo junto a una línea de producción, percepción e inteligencia multimodal compacta en robots mientras la Raspberry Pi corre ROS 2 y la lógica de control, y analítica de ocupación y comportamiento en comercio y espacios inteligentes que cuida la privacidad.

Para qué no sirve

Como cualquier acelerador en el borde, el AI HAT+ no intenta competir con la inferencia en la nube. Las aplicaciones que necesitan un conocimiento amplio del mundo, un contexto de conversación muy largo o aprendizaje continuo siempre van a correr mejor donde el cómputo y la memoria prácticamente no tienen límite. La DX-M1M rinde mejor con inteligencia acotada y siempre encendida junto a una cámara o un sensor, donde la privacidad, la latencia, el funcionamiento sin conexión y un presupuesto de energía de un dígito en vatios son los requisitos que de verdad deciden el diseño. Según Sixfab y DEEPX, ser honestos sobre ese límite es lo que hace confiable a la plataforma dentro de él.

Comunidad y lo que viene

Todo lo necesario para ir más a fondo es público. DX-AllSuite y el ModelZoo están en GitHub, y el portal para desarrolladores de DEEPX reúne documentación, guías y canales de soporte donde se pueden hacer preguntas y reportar problemas.

¿Dónde se consigue?

El Sixfab AI HAT+ de 25 TOPS para Raspberry Pi 5 ya está a la venta en Sixfab. La versión de 13 TOPS debería salir hacia fines de 2026.