El desarrollador WollyMonjac logró correr un chatbot de IA en un PC 486 de comienzos de los años noventa. Su proyecto se llama Tiny 2.1, es un modelo de lenguaje en miniatura que funciona bajo MS-DOS y cabe en un solo disquete.

Los grandes modelos de lenguaje actuales consumen muchos recursos. Correr uno en local pide un computador con bastante potencia y mucha RAM, y nadie esperaría encontrar uno en una máquina de hace más de 30 años.

Tiny 2.1 es un modelo de lenguaje basado en transformers de verdad, el mismo tipo general de arquitectura que mueve a los chatbots modernos. La gran diferencia es el tamaño. Con apenas 367.000 parámetros, es miles de veces más chico que muchos de los modelos livianos de hoy.

Inteligencia artificial en 640 KB

El modelo tiene cuatro capas de 96 unidades de ancho cada una y procesa el texto de a un carácter. Sus pesos están cuantizados a 8 bits, lo que deja su huella en memoria en cerca de 380 KB. El programa completo necesita unos 540 KB de memoria libre. Ese número importa porque los sistemas DOS suelen quedar limitados a 640 KB si no se usan técnicas adicionales de gestión de memoria.

El software está escrito en Turbo C 2.0 y corre en un procesador 486DX o Pentium sin hardware especial. Para usarlo basta con copiar el ejecutable y los archivos del modelo a la máquina con DOS y lanzar el programa.

La interfaz es tan retro como corresponde. Tiene un diseño de neón colorido con una ventana de conversación y un monitor de la actividad neuronal en vivo. Incluso trae una voz robótica sintetizada que sale por el parlante interno del PC, así que se puede escuchar al computador antiguo entregar con total seguridad sus respuestas dudosas.

Respuestas con 100% de confianza

Y sí que son dudosas. Tiny 2.1 se entrenó con apenas 3.500 datos, presentados en distintos formatos de pregunta. Contesta bien algunas preguntas directas, pero cualquier cosa fuera de su escaso entrenamiento es una apuesta.

Cuando se le pregunta, identifica correctamente a Alexander Graham Bell como el inventor del teléfono. También insiste en que 17 por 23 da 96 y en que el rey de Francia es Antarce Newton. A todas esas respuestas les asigna un 100% de confianza.

Entrenarlo con datos propios

El proyecto incluye los datos de entrenamiento, un generador de preguntas y scripts de PyTorch para volver a entrenar el modelo. Se pueden agregar datos propios, entrenarlo en una CPU moderna y exportar los pesos resultantes para correrlos en el computador con DOS.