En el AI Engineer World's Fair de esta semana escuchamos hablar mucho de loops. Otro concepto emergente es el de autoresearch, que consiste en construir un "loop externo" donde otros agentes ayudan a mantener y mejorar el sistema primario, usando señales de feedback, evals e input humano para progresar en el tiempo.

Al menos ese es el marco que propone Roland Gavrilescu, co-fundador y CEO de Introspection, una nueva empresa que construye infraestructura para desplegar estos sistemas de automejora. Antes de fundar la compañía, Gavrilescu trabajaba en infraestructura de agentes y agentes en la nube en xAI, donde conoció a su co-fundador Julian Bright.

Antes de su sesión "Autoresearch in the Wild" en el AI Engineer World's Fair, conversamos con Gavrilescu sobre el paso de los harnesses de agentes a los loops de feedback, el rol del framework open source Pi y por qué las fábricas autónomas de software deben primero aprender de los humanos.

De xAI a Introspection

Latent Space: ¿Cómo nació tu nueva empresa, Introspection?

Roland Gavrilescu: El año pasado estaba en xAI, donde conocí a mi co-fundador. Trabajábamos en infraestructura de agentes y agentes en la nube, y sentíamos que había un nuevo formato de agente que necesitaba explorarse más. xAI no era necesariamente el entorno donde podíamos enfocarnos completamente en eso.

Decidimos irnos y preguntarnos cómo se vería una compañía diseñada alrededor de este nuevo formato. Nos interesaba qué hacía exitosas a empresas como Cursor y Cognition, y cómo podíamos convertir algunas de esas ideas en un producto que otros pudieran usar. Esa fue la base de Introspection.

Autoresearch permite construir loops en los que los agentes ayudan a mantener el propio sistema. El desafío es diseñar las señales y mecanismos de feedback correctos para que los agentes puedan mejorar el sistema, tomar decisiones arquitectónicas y avanzar en la dirección correcta sin quedarse bloqueados constantemente por humanos.

El loop se convierte en el producto

Latent Space: Tu sesión se llama "Autoresearch in the Wild". ¿Qué va a cubrir?

Gavrilescu: Se ha hablado mucho de lo que autoresearch puede hacer para mejorar experimentos, pero queríamos hablar de cómo se ven estos loops en producción.

Estamos presentando tres patrones que creemos que forman la base de un nuevo blueprint.

El primero es que el loop es el producto. Pasamos de enfocarnos en modelos, luego en harnesses, y ahora en loops. La pregunta clave es si uno puede definir los mecanismos de feedback correctos para que los agentes tomen más trabajo sin generar más slop.

El segundo patrón es qué genera el loop y cómo eso se rastrea en el tiempo. Estamos proponiendo un concepto que llamamos agent recipe (receta de agente). Pasamos de agent tools a agent skills. Las recipes son un contenedor más grande que junta los componentes necesarios para codificar la experiencia humana: evals, judges, procesamiento de señal y la información que retroalimenta el loop. La meta es crear un formato portable sobre el que los agentes puedan iterar, casi como un laboratorio de investigación pero de forma provider-agnostic.

El tercer patrón es qué optimizamos. ¿Cómo puede el sistema volverse a la vez mejor y más barato en el tiempo? Empresas como Cursor y Cognition demostraron que estos productos funcionan. La siguiente etapa es hacerlos más accesibles, más rápidos y más baratos, destilando gradualmente las capacidades de los modelos de frontera en sistemas propios y customizados para tu entorno.

¿Qué es una agent recipe?

Latent Space: ¿Podés explicar más qué es una agent recipe?

Gavrilescu: Es como una descripción de los ingredientes que necesitas y cómo evolucionan. La idea viene en parte de las data recipes usadas en post-training de modelos. Una data recipe describe cuánta data de distintos dominios debe hornearse en un modelo.

Las agent recipes son similares. Una receta puede describir cómo trabaja tu harness con distintos modelos, los evals que usás, los judges que creaste, la experiencia humana que capturaste y las fallas que llevaron a nuevos evals.

Imaginate que mañana de golpe tenés acceso al codebase de Devin. El código solo no sería necesariamente tan útil si no ves cómo el equipo llegó a la versión actual. Querrías entender las fallas, errores y decisiones que la informaron. Una recipe captura ese proceso. Empezás con una baseline y luego registrás cómo cada señal produjo un nuevo judge, embebió nueva experiencia humana o te llevó a introducir un modelo distinto.

El loop interno y el loop externo

Latent Space: ¿Autoresearch significa orquestar múltiples agentes, o puede involucrar un solo agente que trabaja y verifica sus resultados repetidamente?

Gavrilescu: Podés pensar el sistema como si tuviera un loop interno y un loop externo. El loop interno es el sistema primario que interactúa con los usuarios y hace el trabajo. Autoresearch se preocupa más del loop externo: otro sistema que estudia y mantiene al sistema primario. La pregunta es cómo diseñar ese loop externo para que avance sobre los problemas correctos sin consumir una cantidad irrazonable de tokens decidiendo qué hacer.

Pi como el Linux de los harnesses de agentes

Latent Space: Comparaste a Pi con Linux. En esa analogía, ¿Introspection es algo como Red Hat?

Gavrilescu: Pi es como el Linux de los harnesses de agentes. Linux tiene distribuciones como Ubuntu, pero el sistema subyacente está diseñado para ser extendido. Pi es similar: nunca fue pensado para correr como producto vanilla sin cambios. Pi separa el loop del agente de sus extensiones y configuración, lo que hace al agente portable. Podés levantar varios agentes distintos cargando distintos archivos en el runtime. Vimos una oportunidad de combinar esa extensibilidad con recipes y componentes open source que puedan evolucionar para cada cliente mientras siguen siendo portables y fáciles de desplegar.

Confiabilidad de loops en producción

Latent Space: La confiabilidad y la realidad desordenada de los loops de agentes han sido temas recurrentes en la conferencia. ¿Cómo aborda Introspection esos problemas?

Gavrilescu: El producto está diseñado alrededor del punto en el que uno está listo para pasar a producción. Uno tiene que saber qué infraestructura se necesita para que los loops funcionen, mantener los costos bajo control y sostener la seguridad. La infraestructura gestionada cubre lo necesario para que estos sistemas operen en producción. Una parte importante de nuestro foco es traer el tipo de infraestructura disponible dentro de los laboratorios de IA de frontera a un producto que otras empresas puedan desplegar.

El humano sigue siendo parte del sistema

Latent Space: ¿Qué pasa con el humano en el loop?

Gavrilescu: Estos loops están diseñados con humanos incluidos, porque necesitas las señales correctas mientras el sistema avanza. El humano puede efectivamente convertirse en herramienta y fuente de señales. A los agentes se les puede entrenar para hacerle preguntas a la gente a través de una herramienta "ask a human". En sus primeros loops, un agente puede depender fuertemente de hacer preguntas y aprender qué haría un humano. Con el tiempo acumula esas preferencias y puede volverse cada vez más autónomo. Es similar a un empleado nuevo en una empresa: al principio pregunta mucho; a medida que aprende cómo funciona la organización, puede tomar más decisiones por su cuenta.

Foco en agentes verticales

Latent Space: ¿Qué casos de uso están viendo?

Gavrilescu: Nos concentramos en agentes verticales. Los agentes de código claramente funcionan y hemos visto varias empresas exitosas en ese área. La siguiente pregunta es cómo desplegar agentes en dominios verticales no-código. Las empresas de esos mercados preguntan cómo hacerlo de forma segura sin depender de un único proveedor. Quieren que el despliegue les pertenezca, mantener control de sus datos y no quedar amarradas a OpenAI o Anthropic. Introspection está pensada para entregar infraestructura que cubra esos requisitos usando componentes open source.

Todo el trabajo pasa por Git

Latent Space: ¿Introspection es principalmente para desarrolladores, o también van a trabajar product managers y usuarios de negocio?

Gavrilescu: Inicialmente nos enfocamos en ingenieros de software en empresas verticales de SaaS. Queremos que el entorno sea amigable para agentes, o sea que los agentes puedan trabajar dentro de sus propios repositorios y bases de código. Todo es basado en Git, y Git se convierte en la bitácora auditable que mantenés en el tiempo. En el futuro habrá interfaces que permitan a product managers y otros participar. Pero ya estamos viendo product managers moverse más cerca del código. Creemos que el formato inicial correcto es una interfaz human-to-agent en la que el trabajo real y su historial viven en Git.

De orquestas a fábricas de software

Latent Space: ¿Introspection encaja dentro de la idea más amplia de software factories?

Gavrilescu: Sí. Diseñar los loops es esencialmente diseñar la fábrica. La pregunta que queda es cuánta autonomía debe tener la fábrica. También ha habido discusión sobre "orquestas, no fábricas". Esa distinción va sobre el nivel de autonomía. Una orquesta puede retener a un director humano que controla cómo operan los loops. Una fábrica implica algo más completamente autónomo. Pero uno debe construir hacia la fábrica, no asumir que se puede crear una fábrica totalmente autónoma el primer día. Los modelos no poseen inicialmente todo el contexto ni entienden cada decisión que la gente dentro de una organización toma. No podés simplemente capturar todo ese conocimiento en un archivo Markdown. El enfoque correcto es diseñar al humano como componente central de la fábrica.

Recomendaciones para arrancar con autoresearch

Latent Space: ¿Qué recomendarías a ingenieros que quieran experimentar con autoresearch?

Gavrilescu: El primer paso es invertir en tus señales. ¿A qué querés que respondan los agentes? El feedback de producto es un buen ejemplo. No todo el feedback vale igual y no podés responder a cada punto de dato individual. Necesitás un mecanismo para filtrar señales y detectar cuáles debe abordar un agente.

El segundo requisito es control sobre el costo. No querés despertarte con una cuenta inesperada de mil dólares porque un agente estuvo corriendo un loop ineficiente. El tercero es seguir la investigación. Miren qué tipo de harnesses están siendo entrenados los modelos para usar y manténganse cerca de esos patrones. Estudien cómo los laboratorios de investigación usan data recipes y piensen cómo aplicar esas ideas a su propio producto.

La meta más amplia es convertir tu organización de producto en un laboratorio de investigación en miniatura, con agentes actuando como investigadores en miniatura.