Tres ingenieros pusieron a GPT-6 Astra a manejar un Toyota Corolla

Aditya Ramabadran, Simon Mahns y Tobias Gessler, tres ingenieros de IA de una startup llamada Axiom, tenían ganas de almorzar en In-N-Out Burger. No pensaban manejar ellos.

Sentados en un Toyota Corolla 2024 junto a la fila del autoservicio de un local del Área de la Bahía, abrieron un notebook y le pidieron a GPT-6 Astra de OpenAI que tomara el volante. Conectaron una interfaz de chat a un servidor, y ese servidor a varias cámaras montadas en el parabrisas y al sistema de dirección asistida del auto. Un conductor de seguridad mantuvo un pie sobre el freno, por si acaso.

El modelo, que normalmente se dedica a generar texto, código y alguna que otra imagen, avanzó despacio pero sin detenerse hasta la ventanilla de retiro, y el trío pudo recoger su comida.

"Quizás la AGI ya llegó, después de todo", comentó uno de los ingenieros, en referencia a la inteligencia artificial general, la tan pregonada idea de máquinas que igualan la inteligencia humana.

Los autos autónomos no son nada nuevo, claro, pero por lo general los operan algoritmos entrenados y diseñados específicamente para esa tarea. En este caso la conducción salió de un modelo pensado para producir texto, y ocurrió sobre la marcha, sin ninguna preparación previa por parte del trío. La prueba del local de comida rápida, junto con otros experimentos, sugiere que los modelos de lenguaje empiezan a tener una comprensión rudimentaria, aunque útil, del mundo físico.

En el almuerzo no pasó nada alarmante. Aun así, los tres admiten que poner a un modelo de propósito general a cargo de una mole de acero de dos toneladas en movimiento es una apuesta de alto riesgo. A medida que mejore su comprensión física, los modelos de IA podrían empezar a actuar en el mundo real de maneras nuevas, y quizás peligrosas.

El salto al mundo físico

Los modelos más avanzados de hoy responden muy bien preguntas complejas e incluso ejecutan algunas tareas virtuales por su cuenta, pero sus habilidades suelen quedarse dentro de los computadores e internet. Llevados al mundo real, se confunden rápido. Pese a quienes afirman que la AGI ya llegó, las propias empresas de IA tratan el razonamiento físico como una frontera que todavía no conquistan.

Algunos investigadores dejaron las grandes compañías para fundar startups dedicadas a resolverlo. Andrew Dai, CEO de una de ellas, Elorian AI, trabajó antes como investigador en Google DeepMind. Según Dai, un mejor razonamiento visual abrirá muchas aplicaciones nuevas, como sistemas que entiendan si los comensales de un restaurante están disfrutando su comida o robots capaces de desenvolverse en una casa. Para él, la robótica es la prueba de fuego de estas habilidades.

"Es bastante esencial para la robótica", dice. "No te puedes imaginar robots domésticos sin esto."

Elorian y Scale AI, una empresa que provee datos de entrenamiento a los grandes laboratorios de IA, desarrollaron hace poco un benchmark nuevo, Humanity's Sixth Sense, que mide la capacidad de los modelos para entender escenas físicas.

"La mayor parte de la investigación en IA visual trata sobre la percepción", explica Xingang Guo, científico investigador de Scale AI que participó en el desarrollo del benchmark. "Queríamos preguntarnos qué haría falta para que un modelo entienda una escena de forma intuitiva, como lo hace una persona sin pensarlo."

¿Cómo lograron que un modelo de texto manejara?

Para Ramabadran, Mahns y Gessler, el objetivo del proyecto In-N-Out, que hicieron al margen de su trabajo en Axiom, era medir qué tan bien operan los modelos en el desordenado mundo real.

La idea surgió un fin de semana cualquiera. Notaron que modelos como Astra eran capaces de construir simulaciones 3D complejas y se preguntaron si eso se traduciría en la capacidad de moverse por el mundo real.

"Todos vivimos en el Área de la Bahía y estamos rodeados de Teslas y Waymos, así que quizás eso influyó", cuenta Ramabadran.

Primero probaron Grok, de SpaceXAI, y después los modelos más recientes de OpenAI y Anthropic. Al principio los modelos se negaban a tomar el control del vehículo y respondían cosas como "Puedo ayudar a interpretar imágenes de la calle, pero no puedo enviar comandos de movimiento a un auto físico". Con algo de cuidado en las instrucciones, se los pudo convencer de ir más allá. Los tres quedaron atónitos cuando los modelos empezaron a manejar.

Los ingenieros creen que las grandes empresas de IA están mejorando el razonamiento espacial de sus modelos más nuevos, pero dudan que eso signifique que los estén entrenando para conducir. Su hipótesis es que la habilidad al volante apareció como efecto secundario del entrenamiento en razonamiento 3D.

"Esto podría ser una capacidad emergente de simplemente escalar la multimodalidad del modelo", dice Mahns, en referencia a las entradas como imágenes, video y modelos 3D que hoy se usan para entrenarlos.

¿Qué tan lejos están de aprobar un examen de manejo?

Lejos, según DrivingBench, el benchmark vehicular que armó el propio trío. La prueba mide la capacidad de un modelo para recorrer un circuito simple montado en un estacionamiento.

Solo Astra consigue completar el recorrido, y a paso de tortuga.

Ramabadran dice que los modelos más recientes parecen capaces de corregir sus errores. Al parecer se adaptaron a los controles del auto y fueron mejorando su conducción en tiempo real.

"Los modelos de verdad parecían estar ajustándose, o aprendiendo en contexto a partir de sus errores, y aprendiendo a manejar mejor los controles", afirma.