Los modelos de lenguaje grandes se piensan normalmente como máquinas que aceptan indicaciones de texto y escupen contenido textual. Sin embargo, si uno es creativo en la forma de conectarse con ellos, se les puede sacar una gama de tareas bastante más amplia. Por ejemplo, Andrea Ricci descubrió cómo hacer que uno juegue DOOM.
¿Sobre qué hardware corre el juego?
Para este proyecto, Andrea empezó portando el juego a la SCINTIX P4. Es un dispositivo bastante interesante: una placa única diseñada con el formato de la Raspberry Pi CM4/CM5, pero que lleva adentro un ESP32-P4 y un ESP32-C6 en vez del módulo original.
El juego corre en el P4 y se muestra en un panel MIPI DSI de 1024×600, aunque solo avanza de a unos pocos cuadros por vez. Esos cuadros después se envían a Claude Sonnet mediante una conexión por WebSockets.
¿Cómo "ve" el modelo lo que pasa en pantalla?
Con la misma información que recibiría una persona jugando, el modelo tiene que darse cuenta de qué está mirando y luego responder con órdenes de movimiento y de disparo. Es entretenido ver al sistema jugar: en general describe con precisión el mundo del juego, navega por los pasillos, abre puertas y dispara a los enemigos.
Hay algo de trabajo detrás de escena para que pueda ver y entender ese mundo:
- Un abanico de profundidad aplicado sobre el campo de visión, para que el modelo pueda calcular dónde están las paredes y no chocarse contra ellas.
- Un automapa en ASCII, que le permite al sistema llevar registro de por dónde ya pasó.
Fuera de esas dos ayudas, el modelo juega sin ningún otro tipo de asistencia adicional.
¿Qué tiene de particular la SCINTIX P4?
La combinación es lo que hace interesante al proyecto desde el lado de la electrónica. El ESP32-P4 es un procesador RISC-V de doble núcleo pensado para interfaces gráficas y procesamiento de imagen, con soporte MIPI-CSI y MIPI-DSI, mientras que el ESP32-C6 aporta la conectividad inalámbrica. Meter ambos en el formato mecánico del Compute Module de Raspberry Pi permite reutilizar placas portadoras que ya existen en el mercado, una ruta bastante más barata que diseñar un sistema completo desde cero.
Para quien quiera replicar algo parecido, el grueso del experimento vive en el software: el programa que sirve los cuadros al modelo y traduce sus respuestas en pulsaciones de teclas. El hardware es un kit de desarrollo con ESP32-P4 y un panel MIPI, ambos disponibles en el canal habitual de distribuidores de electrónica.
Ya hemos visto otras grandes maneras en que se ha puesto a las IA a jugar distintos juegos, como Trackmania.
