PrismML, una empresa fundada por un equipo de investigadores de Caltech, liberó Bonsai 27B, un modelo de inteligencia artificial de 27.000 millones de parámetros diseñado para correr directamente en un iPhone. Bonsai 27B se basa en el modelo Qwen3.6-27B de Alibaba y, según PrismML, soporta razonamiento de varios pasos, uso de herramientas, comprensión de imágenes y tareas basadas en agentes.
La empresa argumenta que las aplicaciones de IA modernas necesitan cada vez más modelos potentes corriendo de forma local. Un agente puede hacer cientos de llamadas al modelo en secuencia, cada una arrastrando contexto, produciendo salida estructurada y alimentando el siguiente paso. En la nube, el costo por token se acumula, cada llamada agrega latencia de red, y los resultados intermedios, las llamadas a herramientas y los datos privados (como el contenido de la pantalla o documentos) salen del dispositivo.
Correr el modelo en el propio equipo reduce a cero el costo marginal de esos ciclos y mantiene los datos del usuario en local. PrismML ve en esto la base para agentes siempre activos, asistentes sin conexión y sistemas híbridos: las tareas simples y sensibles a la privacidad quedan en el dispositivo, mientras que solo los pasos más difíciles se envían a modelos de frontera en la nube.
¿Apple está detrás de esta compresión?
De acuerdo con un reporte de CNBC, PrismML ya conversa con Apple sobre la tecnología de compresión que hay detrás de Bonsai. El CEO de PrismML, Babak Hassibi, confirmó que Apple y otras compañías están probando los modelos en velocidad, consumo de energía y rendimiento. Las conversaciones son "muy tempranas", pero "las cosas avanzan bien".
¿Cómo entra un modelo así en un teléfono?
Un modelo de este tamaño suele ocupar unos 54 GB de almacenamiento. Incluso con compresión estándar, todavía necesita alrededor de 18 GB. PrismML ofrece dos versiones mucho más chicas:
- La variante enfocada en calidad ocupa cerca de 5,9 GB y apunta a laptops, aunque los paquetes que se distribuyen hoy pueden ser mayores según el entorno de ejecución. El documento técnico lista unos 7,2 GB para la versión con llama.cpp y 8,49 GB para la versión con MLX.
- La variante más pequeña pesa unos 3,9 GB, lo bastante para caber en el almacenamiento limitado de un iPhone 17 Pro Max. Según PrismML, un iPhone con 12 GB de RAM en realidad deja disponibles solo unos 6 GB para una sola aplicación, repartidos entre el modelo y la caché.
En lugar de almacenar cada peso de la red neuronal en 16 bits, PrismML usa solo uno o poco menos de dos bits. En la variante más agresiva, cada peso tiene apenas dos estados; en la un poco más grande, tres. Este enfoque se aplica a todo el modelo de lenguaje. La variante Bonsai de 1 bit lidera en eficiencia con una densidad de inteligencia de 0,530 por GB, muy por delante de los modelos ternarios y de 16 bits.
¿Cuánto pierde el modelo al comprimirse?
En la evaluación de la propia PrismML sobre 15 pruebas, la variante mayor conserva el 95% del rendimiento del modelo original y la más pequeña, el 90%. Matemática y programación quedaron "prácticamente inalteradas", según la empresa. Las caídas mayores aparecieron con la compresión más agresiva, sobre todo en comprensión de imágenes, seguimiento de instrucciones y uso de herramientas por agentes. Un Qwen3.6-27B comprimido de forma convencional a 9,4 GB obtiene solo 72,7 puntos, mientras que la variante Bonsai más pequeña, de 3,9 GB, alcanza 76,1.
Según el documento técnico, la variante más pequeña genera unos 11 tokens por segundo en un iPhone 17 Pro Max. Una prueba de batería arrojó cerca de 672 tokens generados por cada punto porcentual de carga, lo que se extrapola a unos 67.000 tokens con la batería llena. El chip bajó levemente su rendimiento tras poco más de cinco minutos.
¿Por qué le importa a Apple?
Los pesos del modelo están disponibles bajo licencia Apache 2.0. Bonsai 27B corre en dispositivos Apple a través del framework MLX y en GPUs de NVIDIA. PrismML también ofrece una API de vista previa para desarrolladores por tiempo limitado y una demo en vivo en Hugging Face. La compañía fue fundada con respaldo de Khosla Ventures, Cerberus y Google, y Samsung sigue apoyándola. El próximo paso será aplicar su tecnología de compresión a la serie Gemma de Google.
Una tecnología de compresión licenciada le importaría a Apple, cuyos propios modelos han quedado atrás en las pruebas hasta ahora. En la WWDC 2026, Apple presentó un Siri renovado construido sobre modelos fundacionales desarrollados con Google usando tecnología Gemini. Su modelo local más potente ya exige un iPhone con al menos 12 GB de RAM, y las consultas complejas corren en GPUs de NVIDIA en la nube de Apple.
