Los agentes de búsqueda con IA rara vez fallan en tareas de investigación multi-paso por la búsqueda en sí. Su problema real es no pedirle al usuario aclaración cuando la consulta es ambigua. Ese es el hallazgo de un nuevo benchmark de un equipo conjunto de Tencent Hunyuan y la Universidad de Tsinghua. Buscar repetidamente muchas veces rinde peor que directamente adivinar.

Con DiscoBench, los investigadores construyeron un framework de prueba que revisa si los modelos de lenguaje pueden detectar ambigüedad por su cuenta durante cadenas de deep search, hacer preguntas de seguimiento certeras y corregir el rumbo de la investigación. Benchmarks previos como GAIA o BrowseComp asumen que las consultas del usuario están completas y son inequívocas.

Pero las consultas del mundo real suelen ser vagas, incompletas o directamente equivocadas. En cadenas de razonamiento largas, cada ambigüedad no resuelta se acumula y desvía al agente por el camino incorrecto. Si el modelo elige la entidad equivocada en un nodo temprano, sigue buscando con sintaxis impecable pero pasa por el lado del blanco real.

¿Cómo mide DiscoBench las cuatro fuentes de ambigüedad?

DiscoBench contiene 211 tareas con 463 puntos ambiguos totales distribuidos en once dominios de conocimiento, incluyendo videojuegos, deportes, música, cine, ciencia y política. Cada tarea se divide en múltiples checkpoints. En cada checkpoint el agente puede elegir entre tres acciones: seguir buscando, pedirle aclaración al usuario o entregar una respuesta.

Los investigadores definen cuatro tipos de ambigüedad:

  • Una descripción puede coincidir con múltiples entidades
  • Puede aplicarse a distintos periodos o versiones temporales
  • Puede permitir múltiples criterios de ranking o evaluación válidos
  • Puede contener un error factual directo

El dataset está mayormente escrito en chino para reflejar los patrones típicos de búsqueda en la web china. Cuando el agente hace una pregunta útil de seguimiento, un simulador de usuario basado en LLM libera una pista predefinida que ayuda a acotar la búsqueda. Todas las consultas de búsqueda pasan por el motor Tavily, y Gemini 3 Flash funciona como simulador.

Ni siquiera los modelos grandes superan el 50%

El equipo testeó once modelos lanzados en los últimos seis meses, incluidos Claude Opus 4.7, GPT 5.4, Gemini 3.1 Pro Preview, Doubao Seed 2.0 Pro, DeepSeek V4 Pro, Kimi K2.6, GLM 5.1, Qwen3.6 Max, MiniMax M2.7, MiMo v2.5 Pro y Hunyuan 3.0 Preview.

Sin una pista explícita sobre posibles ambigüedades, Doubao Seed 2.0 Pro obtuvo la mayor precisión end-to-end con 43,1%. Le siguió Gemini 3.1 Pro con 40,8% y Claude Opus 4.7 con 39,8%. Modelos más débiles como MiniMax M2.7 y Qwen3.6 Max marcaron solo 16,1% y 12,3% respectivamente.

Hay una brecha entre las puntuaciones por paso individual y los resultados globales. Claude Opus 4.7, por ejemplo, resuelve 57% de los checkpoints correctamente pero solo llega a 39,8% end-to-end. Los pasos de investigación individuales funcionan bien por separado, pero una sola ambigüedad no resuelta basta para colapsar la cadena entera.

Un prompt de advertencia no alcanza

Los autores también probaron qué pasa cuando el system prompt le dice explícitamente al agente que preste atención a la ambigüedad y haga una pregunta de seguimiento cuando dude. Este modo "Guided" pretendía mostrar el techo alcanzable cuando los modelos no tienen que descubrir por su cuenta que la pregunta está subespecificada.

Promediado a través de diez modelos, la precisión end-to-end subió de 28,6% a 33,7%. El F1 de detección saltó mucho más, de 45,3% a 64,9%. La pista mayormente ayudó a que los modelos detectaran la ambigüedad pero no realmente a que terminaran la investigación con éxito. Para Claude Opus 4.7, la precisión end-to-end incluso bajó ligeramente bajo el prompt guiado, a pesar de una tasa de checkpoint mayor.

Buscar más es peor que adivinar

El análisis del perfil de comportamiento desglosa qué hacen realmente los agentes en los checkpoints ambiguos. Los modelos que primero buscan y luego preguntan (SearchThenAsk) promedian una tasa de éxito de 93,4%. Adivinar sin preguntar (DirectGuess) baja a 56,5%. Los modelos que buscan repetidamente pero igual adivinan en vez de preguntar (SearchHeavyGuess) rinden aún peor: 51,9%. Según los autores, las búsquedas repetidas sugieren que el modelo ya detectó la ambigüedad pero nunca la convirtió en una interacción con el usuario.

Ese patrón también explica por qué más llamadas a herramientas no llevan a mejores resultados. Claude Opus 4.7 busca más seguido que la mayoría de los otros modelos pero igual queda por debajo de Gemini 3.1 Pro y Doubao Seed 2.0 Pro en precisión. Buscar más fuerte no ayuda si el agente nunca hace la pregunta correcta.

Detectar ambigüedad y hacer buenas preguntas son habilidades distintas

La capacidad de detección y la calidad de las preguntas no van de la mano. Qwen3.6 Max llega apenas a un F1 de detección de 16% y hace en promedio 0,07 preguntas de seguimiento por tarea en el escenario neutral. Sin embargo, cuando pregunta, el 94,7% de sus preguntas son factualmente correctas y 89,5% conducen a progreso. MiniMax M2.7 pregunta bastante más pero solo consigue una tasa de seguimiento de 60,7% a 66,5%.

Un agente de investigación útil necesita ambas habilidades: reconocer cuándo hacer una pregunta de seguimiento y formularla de modo que la respuesta realmente haga avanzar la búsqueda.

Desglosando por tipo de ambigüedad, los errores factuales son los más fáciles de detectar porque crean contradicciones directas durante la investigación. Las ambigüedades de entidad y criterio son más difíciles porque múltiples candidatos plausibles o estándares de evaluación poco claros pueden coexistir sin contradicción obvia.

Los agentes IA necesitan mejores estrategias de seguimiento

Sin acceso a herramientas de búsqueda, los modelos testeados colapsan. Doubao Seed 2.0 Pro cae del 43,1% al 2,4%. Gemini 3.1 Pro va del 40,8% al 19,9%. DiscoBench no se puede resolver solo con el conocimiento almacenado del modelo. Al mismo tiempo, los modelos rinden mucho mejor cuando la ambigüedad se remueve de las preguntas, con precisión que salta entre 26,8 y 40,2 puntos según el modelo. Los autores concluyen que los futuros agentes de búsqueda necesitan mecanismos que conviertan la incertidumbre en interacción con el usuario, además de sus habilidades de recuperación y razonamiento.

Otro trabajo reciente confirma que los agentes de búsqueda actuales tienen debilidades básicas en cómo investigan. Un estudio encontró que los modelos líderes en benchmarks como BrowseComp muchas veces solo confirman lo que ya saben. En LiveBrowseComp, con hechos posteriores al knowledge cutoff, todos los sistemas cayeron entre 25 y 40 puntos. El benchmark Halluhard también mostró que Claude Opus 4.5 con búsqueda web alucina en aproximadamente 30% de los casos, principalmente al verificar el contenido de fuentes citadas.

Anthropic abordó este problema en su actualización más reciente, Claude Opus 4.8, que debe marcar incertidumbres más seguido y deja bugs sin comentar en su propio código aproximadamente cuatro veces menos que su antecesor. Perplexity intenta un abordaje distinto con Search as Code, permitiéndole a los modelos escribir sus flujos de búsqueda como programas Python en vez de llamar a una API pre-armada.