Microsoft publicó como código abierto Scope, una herramienta pensada para equipos que mantienen SDK, documentación o servidores MCP y quieren ver dónde se traban los agentes de programación. El código va bajo licencia MIT.
Los agentes de código ya deciden qué SDK usar y qué herramientas llamar. Algo que a un desarrollador humano le funciona sin problemas puede dejar a un agente dando vueltas.
Scope existe para encontrar esas fallas. Corre la misma tarea con distintos agentes y puntúa lo que produce cada uno. Microsoft le puso nombre al campo, Developer Agent Experience o DevAx, aunque el alcance de Scope es evaluar agentes que ya existen.
¿Cómo funciona Scope?
A Scope se le entrega una tarea, un código de partida si hace falta y la configuración de un agente. Con eso conduce agentes existentes como GitHub Copilot y Claude Code a través de la tarea.
El éxito se define con criterios que forman un grafo de dependencias, donde un chequeo puede habilitar o bloquear otro. Un caso simple es pedirle al agente un servidor en Node.js y verificar que tenga una ruta GET /health que devuelva JSON.
Un servicio Judge, basado en un LLM, puntúa cada corrida contra esos criterios. Puede equivocarse, y Microsoft advierte que las conclusiones importantes igual requieren revisión humana.
Cada corrida guarda registros en vivo, los archivos generados, instantáneas del espacio de trabajo y las llamadas a herramientas. Un criterio fallido se puede rastrear hacia atrás por esos pasos. Los perfiles versionados guardan el agente, el modelo, las skills, los servidores MCP y las extensiones.
Se puede cambiar una pieza, volver a correr la misma tarea y comparar. Los resultados varían entre intentos, y repetir una tarea ayuda a separar un problema recurrente de uno aislado.
También hay personajes configurables que fijan el punto de vista y el tono del usuario simulado. Los resultados se revisan en un portal web o, con la CLI y la API REST, se mandan a scripts y flujos automatizados.
¿Para quién sirve?
Los equipos de documentación pueden detectar una instrucción que los agentes se saltan corrida tras corrida. Corrigen la página y vuelven a correr el escenario.
Quienes mantienen un SDK pueden revisar si el agente elige su SDK en primer lugar, y probar si un código de ejemplo nuevo o una skill cambian eso.
En las CLI y los servidores MCP, las trazas muestran dónde se detuvo el agente. Eso puede apuntar a una descripción de herramienta poco clara o a un mensaje de error que deja al agente adivinando.
¿Qué hace falta para usarlo?
No basta con registrarse y empezar a probar. Scope no tiene versión alojada, así que cada equipo lo corre por su cuenta.
Una instalación local pide estos componentes.
- Docker con Compose v2
- Node 22
- pnpm
- mkcert
- la CLI de GitHub
Microsoft tiene una guía de desarrollo local que acompaña ese proceso.
El worker por defecto exige además una suscripción activa a GitHub Copilot, y el Judge necesita credenciales de un proveedor de modelos. Los equipos que quieran un despliegue compartido pueden instalarlo en Kubernetes con el chart de Helm.
El código de Scope está en GitHub. Para contribuir, lo más probable es que haya que aceptar el acuerdo de licencia de contribuidores de Microsoft.
