Ejecutar modelos de lenguaje de forma local en una placa de desarrollo o un mini PC es una buena manera de mantener tus datos en privado, pero normalmente exige un sistema operativo convencional que consume una buena porción de la memoria. NightRun es un proyecto experimental de código abierto que ataca ese problema arrancando la máquina directamente a un modelo de lenguaje local desde una unidad USB o una tarjeta microSD, sin cargar un sistema operativo.
Al quitar el sistema operativo, NightRun deja más RAM y más ancho de banda de memoria disponibles para la inferencia de IA. El motor de ejecución está escrito en Rust y, durante el arranque, carga un modelo cuantizado de entre 1,3 GB y 2,4 GB directamente a la RAM mientras verifica sus sumas de comprobación CRC-32. Una vez cargado el modelo, el almacenamiento queda "sellado": cualquier intento posterior de leer el disco dispara una falla grave.
¿Qué hardware y modelos soporta?
Estas son las características clave del proyecto:
- Hardware compatible: PCs x86_64 de 64 bits con UEFI (Secure Boot desactivado) y la Raspberry Pi 5 por USB o microSD.
- Modelos soportados: Llama 3.2 1B (4 GB de RAM), Llama 3.2 3B y Granite 4.1 3B (6 GB de RAM) y Qwen3 4B Instruct 2507 (8 GB de RAM), convertidos al formato .nrm.
- Inferencia optimizada: usa núcleos AVX2/FMA/F16C en x86 y núcleos NEON en la Raspberry Pi.
- Diseño sin copias: ejecuta modelos cuantizados Q8_0, Q4_K y Q6_K directamente desde la RAM, sin decuantización.
- Interfaz integrada: incluye un chat sobre framebuffer con estadísticas en vivo, edición de prompts e historial de conversación.
¿Es una distribución de Linux recortada?
Es fácil pensar que NightRun es una distribución de Linux minimalista diseñada para ahorrar memoria, pero no es el caso. Se trata de una aplicación UEFI que corre sin un sistema operativo convencional, así que no hay kernel de Linux, ni planificador, ni pila de red por debajo. En cambio, se apoya en los Boot Services de UEFI para gestionar la entrada del teclado, controlar el framebuffer de la pantalla, acceder al almacenamiento e incluso manejar el ventilador de enfriamiento de la Raspberry Pi 5.
En cuanto al rendimiento, los desarrolladores señalan que la velocidad de decodificación está limitada sobre todo por el ancho de banda de memoria. En una máquina virtual QEMU x86 de 8 núcleos, Llama 3.2 1B (Q8_0) alcanza cerca de 20 tokens por segundo durante la decodificación. En una Raspberry Pi 5 real de 8 GB, Granite 4.1 3B (Q4_K_M) genera alrededor de 3,0 tokens por segundo usando los primeros núcleos NEON pre-sdot.
Ya habíamos escrito sobre el LLMStick de Binh Pham, que usa motores de inferencia en C/C++ como llama.cpp desplegados sobre distribuciones livianas de Linux (como Alpine o DietPi) para liberar memoria. Frente a ese enfoque, NightRun es un entorno UEFI completo y listo para producción, con tokenización probada por paridad y pensado específicamente para hardware de consumo.
La mayor parte del código de NightRun se escribió usando Claude Code con el modelo Fable 5 y se publicó bajo licencia MIT en GitHub. La instalación la maneja un script de shell de Linux que descarga un modelo verificado y graba la imagen arrancable. Los desarrolladores implementaron varias comprobaciones de seguridad en el instalador, que obliga a escribir explícitamente FLASH /dev/sdX para evitar sobrescribir por accidente los discos del sistema. Hay más detalles de la implementación técnica en nightrun.io.
