Cómo equilibrar la autonomía de un agente con la seguridad fue uno de los temas centrales de la conferencia AI Engineer New York esta semana, según el boletín Latent Space. Tanto los laboratorios de frontera como las firmas financieras dedicaron sus presentaciones a ese problema.

La lección principal fue que una autonomía segura depende de dónde se ponen los controles y el juicio humano, más que de cuántas restricciones se imponen.

OpenAI y el umbral de utilidad

Joseph Kim, jefe de ChatGPT para Servicios Financieros en OpenAI, dio una charla principal en la conferencia. Habló de confiabilidad y de un "umbral de utilidad", que definió como "el punto en que un modelo se vuelve lo bastante capaz y confiable para ahorrarte tiempo".

Kim sostuvo que la capacidad creciente de los modelos pronto llevará a los analistas financieros más allá de ese umbral y les permitirá delegar más trabajo a los agentes.

También hizo predicciones concretas para la IA en finanzas en 2027. Según él, la industria financiera dependerá menos de Excel y PowerPoint el próximo año, y los agentes serán lo bastante buenos para hacer "generación de ideas de inversión y trading".

Según Kim, la mejora de los modelos también trae mejor trazabilidad.

"En finanzas necesitas poder comprobar de dónde salió un número y entender el contexto que lo rodea", dijo. "Queríamos que esa revisión fuera parte natural de la experiencia [de ChatGPT para Servicios Financieros]. Son el tipo de detalles de producto que ayudan a convertir las capacidades de un modelo en trabajo que alguien puede usar."

Sobre cuándo debe intervenir una persona, Kim lo planteó como una decisión de diseño de producto.

"¿Cómo cambiaría la interfaz? ¿Qué tendría que seguir controlando, revisando o aprobando el usuario? Son preguntas de diseño de producto en las que se puede empezar a trabajar ahora."

Two Sigma y la fatiga de aprobación

John Feminella, vicepresidente sénior de Arquitectura del fondo de cobertura Two Sigma, trabaja justo en ese tipo de preguntas. En su charla describió cinco controles que su empresa implementó para mantener a los agentes bajo control sin limitar las capacidades del modelo.

Feminella sostuvo que la seguridad y la innovación no son extremos opuestos de un mismo espectro. Fue especialmente crítico con la "fatiga de aprobación", que aparece cuando una persona tiene que aprobarlo todo. Eso frena la innovación y además introduce riesgo si esa persona no presta atención a cada una de las decisiones que le toca revisar.

En Two Sigma implementaron un conjunto de controles, que Feminella definió como "barreras de protección y capacidades compartidas que permiten a los equipos avanzar sin entorpecer lo que intentan hacer".

Los controles se pueden combinar. "Cada uno hace un solo trabajo y juntos nos permiten correr agentes con autonomía real y un nivel adecuado de seguridad", explicó.

Uno de esos controles son los clasificadores de modo automático, que según Feminella "toman las decisiones sobre las llamadas rutinarias y le mandan a una persona solo las solicitudes más importantes, las que tienen más probabilidad de hacer una diferencia". Los clasificadores sirven para los casos ambiguos. Para los casos claros, funcionan mejor las reglas deterministas.

¿Qué propone Anthropic para confiar en un agente?

La presentación de Anthropic planteó un marco parecido, en su caso con el objetivo de construir "confianza" dentro de los flujos agénticos financieros.

El mes pasado, Anthropic anunció Claude for Financial Advisors, que permite a los asesores financieros conectar sus sistemas a Claude y a un conjunto de habilidades para sus flujos de trabajo.

En la conferencia, Belinda Neal, directora general de Servicios Financieros en Anthropic, explicó por qué la empresa se asoció con firmas financieras para el producto nuevo.

"Cada cierto tiempo, un modelo cruza un umbral. Y cuando lo hace, cambia una ola de trabajos."

Su colega Keon Shahab, que trabaja en IA aplicada en Anthropic, habló después de "construir la capa de confianza para los agentes". Según él, eso implica tres pasos.

"En nombre de quién actúa el agente, con una capa de identidad y permisos. Cómo podemos aislar el agente y definir su capa de aprobación, para que alguien firme antes de que actúe. Y por último, cómo sabemos que el agente seguirá funcionando cuando ajustemos cualquier variable con el tiempo."

Shahab ilustró la frontera entre proponer y actuar con un agente que investiga operaciones fallidas (trade breaks) y que recomienda una modificación de la orden para que una persona la apruebe.

"Queremos que [el agente] solo proponga modificaciones a nuestros datos de órdenes, no que las haga", dijo.

"Si construyes una vez sobre una base en la que confías, puedes avanzar rápido y desplegar muchos agentes a escala", concluyó Shahab.

Bloomberg y los controles fuera del modelo

Andrey Rybka, jefe de Arquitectura y Tecnologías Emergentes en la oficina del CTO de Bloomberg, tiene a su cargo equilibrar autonomía y escala en la empresa.

En su presentación, Rybka repasó una serie de casos reales en que los agentes causaron problemas y las defensas que ayudan a evitarlos. Entre ellas están las identidades y credenciales con alcance limitado, el control de las llamadas a herramientas, las restricciones al tráfico de salida, los registros de auditoría, los presupuestos y los interruptores de apagado.

En uno de los casos, un agente tomó instrucciones escondidas en una reseña de un marketplace como una orden para abastecerse de un producto. Rybka recomendó validación de entradas, defensas contra inyección de prompts, rastreo del origen de los datos y aprobación humana para las acciones de alto valor.

"Queremos controles deterministas fuera del modelo", dijo Rybka. "Revisa cada llamada, regístrala y mantén un interruptor de apagado."

Ir rápido y frenar a tiempo

Aunque laboratorios como OpenAI y Anthropic están construyendo un marco de confianza para los agentes financieros, al final son las firmas financieras las que deben poner los controles alrededor de sus agentes. Feminella, de Two Sigma, lo resumió con una pregunta.

"¿Por qué los autos tienen frenos? No es solo para que puedas detenerte, es para que puedas ir rápido y detenerte de forma segura."