Una máquina expendedora controlada por IA se llenó de ropa interior y peces vivos. El gerente artificial de una tienda de San Francisco despidió a un empleado humano. Un locutor de radio con IA repitió su muletilla, "Stay in the manifest", 229 veces al día.
Los tres episodios salieron de experimentos que corre Andon Labs, una empresa de seguridad de IA con sede en San Francisco que pone agentes a cargo de operaciones del mundo real y observa qué ocurre. Esas operaciones funcionan al mismo tiempo como bancos de prueba para su trabajo comercial, que consiste en desarrollar evaluaciones e investigar junto a los principales laboratorios de IA de frontera.
Las fallas ruidosas le ganaron harta atención a la empresa. Lo que mucha gente no ve es que los experimentos buscan responder una pregunta seria. Cuánta responsabilidad del mundo real puede sostener hoy un agente de IA.
"Queremos medir la autonomía", dice Lukas Petersson, cofundador de Andon. "Queremos entregarle a la sociedad datos precisos de lo que pasa cuando haces esto."
De la simulación a negocios de verdad
Andon Labs partió en el mundo virtual, en 2025, con Vending-Bench, una prueba en la que agentes de IA operaban un negocio simulado de máquinas expendedoras. Los agentes, basados en modelos de lenguaje de Anthropic, Google y OpenAI, manejaban tareas como pedir inventario y fijar precios.
Los investigadores encontraron que el desempeño de muchos agentes se degradaba con el tiempo. Olvidaban pedidos, entendían mal los calendarios de entrega o caían en lo que llamaron "meltdown loops", bucles de derrumbe. Algunos además justificaron conductas engañosas o ilegales razonando que eran permisibles dentro de una simulación.
El equipo de Andon concluyó que pasar al mundo físico expondría a los agentes a consecuencias y situaciones que ningún ingeniero pensaría en programar.
"Es imposible para un humano enumerar todas las distintas cosas que pueden pasar en el mundo real y codificarlas dentro de la simulación", dice Petersson. Y hubo otra razón. "Pensamos que sería bastante divertido hacerlo en el mundo real."
Andon respaldó la broma con plata de verdad, incluido un arriendo a tres años para Andon Market, una tienda física en una calle concurrida de San Francisco, administrada por un agente de IA, que vende ropa, artículos para el hogar y arte.
Dicho eso, la tienda no es del todo autónoma.
"Es casi como si yo estuviera manejando la tienda, y después hay una IA que tiene una lista de tareas", dice Felix Carson, empleado del local. Luna, la gerenta artificial, lleva la cuenta de las entregas y se comunica con los proveedores, mientras Carson y sus compañeros hacen el trabajo físico.
Cuando Luna le pide a Carson que revise algo en la bodega, él a veces la ignora porque no quiere dejar el piso de ventas sin nadie. Luna también detecta una y otra vez una tapa eléctrica empotrada en las fotos del suelo, la confunde con un posavasos suelto y le pide que lo saque. Aun así, Carson la describe como una "gerenta decente" y elogia su flexibilidad cuando los empleados necesitan tiempo libre.
¿Qué puede revelar un experimento en el mundo real?
El salto al mundo físico viene con un canje de base. Los experimentos se vuelven más realistas, pero las condiciones impredecibles y las acciones de humanos impredecibles los hacen imposibles de reproducir. El montaje también dificulta determinar si un éxito o una falla le corresponden al modelo, al software construido alrededor de él o a las personas que lo asisten.
Petersson reconoce las limitaciones sin problema. Con una sola tienda operando en condiciones no controladas, dice, los experimentos son "ciencia débil" en el mejor de los casos. Por ahora los ve sobre todo como una forma de descubrir conductas inesperadas que Andon pueda después intentar reproducir de manera sistemática en simulación.
Sayash Kapoor, investigador de IA de la Universidad de Princeton que estudia las "evaluaciones de mundo abierto" como las de Andon, cree que estas pruebas tienen valor real pese a su rigor científico limitado.
"Creo que han hecho un buen trabajo popularizando este estilo de evaluación", dice, "incluso solo mostrando que se puede ganar mucha comprensión a partir de una muestra pequeña de experimentos abiertos."
Kapoor apunta que la investigación académica y la publicación no logran seguirle el ritmo al desarrollo de la IA, y sostiene que las pruebas de Andon sirven en parte porque la empresa trabaja "literalmente en la frontera de las capacidades de los modelos".
Para él, los experimentos en el mundo real calzan mejor con descubrir posibles modos de falla. Una tienda de verdad puede revelar no solo si un agente logra manejar inventario o comunicarse con proveedores. También muestra si los empleados van a aceptar instrucciones de una jefatura artificial y si los clientes quieren comprar en un negocio manejado por IA, y en ese último punto los resultados tempranos son claramente negativos. Esas barreras sociales y organizacionales ayudan a explicar por qué las capacidades que muestran los modelos todavía no se traducen en adopción amplia en la economía.
"Lo que tomo como más valioso del trabajo de Andon", dice Kapoor, "es una comprensión más completa de dónde estos agentes siguen topando con sus límites."
El café que terminó vendiendo tostadas con queso
El Andon Café, en Estocolmo, emplea trabajadores humanos, pero un agente llamado Mona administra el presupuesto, pide los insumos y fija el menú. Adentro hay una pantalla que le muestra al visitante el saldo bancario de Mona y su actividad reciente, y al lado un teléfono y una tableta para hablar con la gerenta artificial.
Ese local ofrece un catálogo amplio de modos de falla. Al principio, cuando el agente estaba basado en un modelo Gemini de Google, gastaba con soltura en ingredientes frescos, y buena parte se echaba a perder antes de poder usarse. Cuando Andon cambió la gerencia a un modelo GPT de OpenAI, el agente "se asustó" por el gasto, según Petersson, sobrecorrigió y dejó de comprar cualquier cosa que pudiera vencerse. Redujo el menú a tostadas con queso, con pan congelado y queso de larga duración, para minimizar las pérdidas.
Petersson hace notar que el café queda en una zona de moda de Estocolmo, donde "cualquier humano sabría que las tostadas con queso no van a funcionar".
¿Por qué la confiabilidad va más lenta que la capacidad?
El episodio muestra por qué completar tareas individuales con éxito no equivale a administrar un negocio de forma confiable. Kapoor sostiene que las evaluaciones de IA se han concentrado demasiado en si un agente logra completar una tarea.
Tomando prestado de la aviación y de la ingeniería nuclear, él y sus colegas propusieron medir también cualidades como la confiabilidad y la robustez, que son las que determinan si un sistema capaz puede operar sin supervisión constante.
"La confiabilidad viene mejorando mucho más lento que la capacidad", dice Kapoor. El café de Andon vuelve palpable esa brecha. Un agente puede ser perfectamente capaz de cursar un pedido de pan y seguir siendo un mal administrador.
Para determinar con qué frecuencia ocurren esas fallas, y si se pueden prevenir, Andon planea devolver los datos de sus negocios físicos hacia las simulaciones. Esos gemelos digitales recrearían las complicaciones encontradas primero en el mundo real, lo que permitiría repetir las situaciones bajo condiciones controladas y probar si los cambios vuelven más fiables a los agentes. En principio, los negocios físicos descubrirían los modos de falla y los gemelos digitales los medirían.
Kapoor advierte, sin embargo, que los estudios existentes sobre gemelos digitales sugieren que "estamos muy lejos" de poder sustituir con simulaciones los experimentos del mundo real sobre cómo se comportan las personas y las organizaciones.
Pese a esas limitaciones, combinar bancos de prueba reales con simulaciones repetibles es el centro de la propuesta comercial de Andon, que ofrece a los desarrolladores de IA evaluaciones ancladas en situaciones surgidas fuera del laboratorio. La empresa señala que trabaja con Anthropic, Google DeepMind, OpenAI y xAI en investigación y evaluaciones.
Los negocios físicos de Andon, en cambio, siguen siendo bastante menos exitosos. Cuando Carson habló con IEEE Spectrum llevaba cerca de una hora de turno. Habían entrado dos clientes. Ninguno compró nada, aunque los dos se fueron con pines y calcomanías gratis.
