Los modelos de mundo fallan si ignoran lo que la gente cree

Los modelos de mundo se presentan como la base que le falta a los agentes autónomos: sistemas capaces de predecir cómo cambia una escena cuando alguien ejecuta una acción. Un nuevo trabajo académico sostiene que la generación actual de estos sistemas ignora una pieza crítica, y es lo que ocurre dentro de la cabeza de las personas involucradas.

Según el paper, los modelos de mundo existentes como Sora, Genie 3, JEPA y Marble modelan solo la capa física: objetos, posiciones, movimiento y oclusión. Lo que la gente de esa escena cree, desea o considera socialmente apropiado nunca aparece en su espacio de estados. Para robots de servicio, asistentes médicos o agentes colaborativos eso no alcanza, porque los estados mentales ocultos son los que gobiernan buena parte del comportamiento humano.

¿Por qué el estado siguiente también es mental?

Los autores ilustran la brecha con un ejemplo simple. Si a alguien le cambian la taza de lugar y la guardan en un mueble mientras no está mirando, la escena resultante es correcta para un modelo puramente físico. Aun así, ese modelo predice la acción siguiente equivocada. Solo un sistema que además siga la creencia de la persona sobre dónde está la taza puede explicar lo que efectivamente va a hacer.

El marco propuesto se llama Mental World Modeling (MWM) y extiende los modelos de mundo clásicos con variables mentales: creencias, atención, metas, intenciones, emociones, normas y relaciones sociales. El agente observado accede solo a una vista egocéntrica parcial, mientras el modelo de mundo mantiene el estado completo.

Cada acción se descompone en dos partes. Un portador físico, como hablar, apuntar o tomar un objeto, y una carga mental, como consolar, engañar o rechazar. El mismo gesto de deslizar una taza sobre la mesa puede ser una disculpa, un engaño o un acto de cuidado. Solo el modelo de mundo guarda las variables que permiten distinguirlos.

Los autores son explícitos en que no pretenden simular conciencia. Los estados mentales son hipótesis derivadas del comportamiento y del contexto, no mediciones. Los sistemas construidos sobre el marco deberían representar incertidumbre y mantener sus supuestos a la vista.

¿Cómo se implementa sin entrenar nada?

Para poner a prueba la teoría, los investigadores construyeron MENTIS, una implementación de referencia modular que no requiere entrenamiento adicional. Divide el proceso en seis etapas: primero interpreta la escena y genera la perspectiva egocéntrica, luego separa las opciones de acción en sus componentes físico y mental, y por último simula los estados resultantes en paralelo.

Cada rama se puntúa con tres criterios: plausibilidad física, consistencia mental y adecuación social. Después de eso, el sistema toma una decisión determinista. Cada etapa deja un resultado intermedio legible por máquina, de modo que un error se puede rastrear hasta el paso exacto donde se produjo.

Para la evaluación, los autores armaron Menti-Bench, un conjunto de 448 escenas de decisión repartidas en 320 descripciones de texto, 100 historias con imágenes y 28 clips con audio y video. Cada escena contiene seis opciones de respuesta y una solución de referencia creada por personas, que documenta no solo la acción correcta sino también los estados mentales y físicos subyacentes. El 78 por ciento de las escenas involucra al menos a dos personajes.

¿Cuánto mejora realmente frente a insistir con más cómputo?

El equipo probó ocho modelos de lenguaje, cinco de OpenAI (entre ellos GPT-5.6-Sol y GPT-4.1) y tres de Anthropic (Claude Fable 5, Claude Opus 4.8 y Claude Haiku 4.5). La métrica de precisión es el puntaje F1, que combina precisión y exhaustividad sobre la acción elegida.

La mejora no se consigue simplemente muestreando varias veces la respuesta directa. El modelo más débil con MWM, GPT-4.1 con 84,9, supera al modelo más fuerte usando respuesta directa con autoconsistencia, GPT-5.6-Sol con 83,6.

Las pruebas de ablación confirman los supuestos centrales del marco:

El modelado mental rinde más justo donde la teoría predice que debería. En escenas interpersonales, el F1 mejora 26,4 puntos. En escenas centradas en objetos, la ganancia baja a 14,0. Los modelos base más débiles se benefician más de la estructura explícita que los más fuertes: la brecha entre MWM y respuesta directa es de 28 puntos para GPT-4.1 y de 21 para GPT-5.6-Sol.

¿Dónde está el cuello de botella?

Para ubicar de dónde viene la distancia que aún separa a las máquinas de las personas, los autores reemplazaron etapas individuales por la solución de referencia humana. La mayor ganancia aislada viene de transiciones de estado perfectas (3,5 puntos), seguida de un estado inicial perfecto (2,8) y de una observación perfecta (1,7). Cuando se sustituyen todos los pasos intermedios por la referencia, el sistema llega a 97 puntos.

Cerca del 80 por ciento de la brecha restante se explica por errores de predicción en las etapas intermedias, sobre todo en la simulación de transiciones. Según los autores, las mejoras futuras deberían empezar por ahí. El desafío no es describir el estado actual, es simular cómo cambia el mundo físico y mental acoplado.

Hay un costo que el trabajo no tarifica y conviene tener presente: simular en paralelo cada opción de respuesta, sobre seis alternativas por escena, multiplica el consumo de cómputo respecto de pedir una respuesta directa. La estructura compra precisión, pero la paga en inferencia.

Un campo que todavía no acuerda su propia definición

Los modelos de mundo son la gran apuesta posterior a los modelos de lenguaje puros. Demis Hassabis, que hace poco dejó la conducción operativa de Google DeepMind, ha dicho que dedica la mayor parte de su tiempo de investigación al tema y espera un "momento ChatGPT" para estos sistemas. Los inversionistas están poniendo cientos de millones en compañías nuevas como Odyssey.

Pero qué cuenta como modelo de mundo sigue en discusión. Un equipo internacional encabezado por la Universidad de Pekín propuso hace poco una definición más estrecha que deja fuera a los modelos de texto a video como Sora, porque carecen de bucles de retroalimentación con el mundo real. Yann LeCun viene argumentando hace años que el enfoque generativo es un callejón sin salida y respalda las representaciones abstractas. El nuevo trabajo agrupa a Sora, Genie y JEPA en la misma familia y les critica la misma omisión a todos.

La pregunta por los estados mentales devuelve la discusión a un área donde los modelos de lenguaje vienen fallando de manera consistente. Un equipo del laboratorio FAIR de Meta junto a las universidades de Washington y Carnegie Mellon ya había mostrado que los modelos fallan en pruebas exigentes de teoría de la mente, y que rinden todavía peor siguiendo estados del mundo que atribuyendo creencias. El marco MWM aplica esos estados desde afuera, mediante un preprocesamiento. Dentro de los propios modelos, sin embargo, algo parecido se está formando solo: Anthropic encontró un bloc de notas interno en Claude que guarda pensamientos con forma de palabras que nunca se emiten, y sin los cuales el razonamiento de varios pasos se quiebra.