Melanie Mitchell: aún no sabemos medir la cognición de la IA

Cuando un modelo de lenguaje responde una pregunta, ¿está razonando como lo haría una persona o solo produce texto que se parece a un razonamiento? La distinción no es apenas filosófica: determina qué podemos confiarle a la IA, cuán de cerca hay que supervisarla y, en definitiva, cuál será su impacto real en el mundo.

Melanie Mitchell, del Instituto Santa Fe, sostiene que carecemos de métodos adecuados para medir la cognición de las máquinas, y que la IA es una forma de "inteligencia alienígena" que opera mediante mecanismos cognitivos no humanos. En este episodio de The Joy of Why, Mitchell le explica a Steven Strogatz cómo los métodos que usan los psicólogos para estudiar otras clases de inteligencia ajena, la de los bebés y la de los animales, pueden adaptarse para sondear a la IA, y expone seis principios para evaluar mejor la cognición de las máquinas. La conversación recorre desde la dificultad de interpretar qué ocurre dentro de estos sistemas hasta los recientes avances matemáticos asistidos por IA, y llega a un caballo que hacía cálculos a comienzos del siglo XX y que hoy funciona como advertencia sobre cómo medimos la inteligencia.

Mitchell, científica cognitiva y computacional, es una de las voces más citadas del escepticismo informado en el campo. Su libro de divulgación sobre inteligencia artificial, publicado en 2019, se anticipó por tres años a la irrupción masiva de ChatGPT, y esta es su segunda aparición en el programa: la anterior fue hace unos cinco años, cuando el podcast todavía se llamaba The Joy of X.

¿Qué sorprendió a quienes llevan décadas mirando esto?

STEVE STROGATZ: Soy Steve Strogatz.

JANNA LEVIN: Y yo soy Janna Levin.

STROGATZ: Y esto es The Joy of Why.

LEVIN: Un podcast de Quanta Magazine donde exploramos algunas de las grandes preguntas sin responder de las matemáticas y la ciencia de hoy.

STROGATZ: Como era de esperar, otro programa sobre IA.

LEVIN: Te lo digo en serio, es un tema del que la gente no se cansa, y a mí cada vez me cuesta más opinar. Cambia demasiado rápido.

STROGATZ: Es cierto. Se mueve muy rápido. Cualquier cosa que digamos podría quedar obsoleta la semana que viene. Mientras hablamos, es 23 de julio de 2026.

LEVIN: Y a mí se me hace distinto de lo que era el 23 de julio de 2025, eso seguro.

STROGATZ: Eso es justamente relevante, porque nuestra invitada de hoy, Melanie Mitchell, científica cognitiva y computacional del Instituto Santa Fe, ya había estado en el programa. Ella y yo conversamos hace unos cinco años, es decir, antes de ChatGPT. Lo que va a ser interesante hoy es su punto de vista, que consiste en pensar el problema de la IA desde campos como la psicología del desarrollo. Es decir, ¿cómo hace un bebé o un niño pequeño para volverse tan inteligente como se vuelve?

LEVIN: Es interesante, porque nos entusiasma la mente artificial cuando entendemos muy poco de la mente humana. Estamos tratando de saltarnos un paso.

STROGATZ: Así es. Y no solo la mente humana, también las mentes animales. Existe la psicología comparada, donde miramos la inteligencia de aves, perros o delfines. Tenemos mucho que aprender pensando en inteligencias distintas de la nuestra.

STROGATZ: Hola, Melanie. Muy contento de verte de nuevo. Hablamos hace unos años, y creo que eres nuestra primera invitada que repite. Te traje de vuelta porque siento que ha cambiado muchísimo en inteligencia artificial. Conversamos, creo, en 2021, y la ola de ChatGPT golpeó al mundo alrededor de noviembre de 2022. ¿Es correcto?

MELANIE MITCHELL: Correcto.

STROGATZ: Todo el mundo sabe que la IA está en todas partes. Supongo que me gustaría empezar preguntando: ¿qué es lo que más te ha sorprendido de estos últimos años?

MITCHELL: Vaya, me han sorprendido tantas cosas. La sola idea de que pudiéramos llegar a donde estamos ahora simplemente entrenando estos modelos con cantidades enormes de lenguaje e imágenes generados por humanos. Nunca lo habría imaginado. También la reacción polarizada que apareció en la comunidad de IA y en la sociedad en general me resultó algo sorprendente.

STROGATZ: ¿Polarizada en el sentido de la distinción entre catastrofistas y optimistas de la IA?

MITCHELL: Está esa dimensión, y además está la de quienes creen que la IA es más inteligente que los humanos frente a quienes piensan que está lejísimos de acercarse a una inteligencia humana. Y relacionado con eso, está el amarla o detestarla. Son dimensiones separadas, aunque quizás correlacionadas.

STROGATZ: Y el amarla u odiarla también puede vincularse al impacto ambiental frente a la prosperidad económica de ciertas empresas, y a la vez, ¿qué pasa con la pérdida de empleos? Hay tantas dimensiones en esto.

¿Por qué mirar a los bebés y a los animales?

STROGATZ: Lo que quiero abordar hoy contigo son los sistemas complejos, la ciencia cognitiva y la inteligencia artificial. Tienes muchos sombreros, pero me interesa mucho el trabajo que has hecho para mirar la IA a través del lente de la psicología del desarrollo, como cuando intentamos pensar la inteligencia ajena de los bebés humanos, o de la psicología comparada, con la inteligencia ajena de nuestros perros, de aves inteligentes o de los delfines.

MITCHELL: Sí. Mucha gente ha descrito a la IA como una clase de inteligencia alienígena, porque es muy distinta de la humana, aunque haya sido entrenada con lenguaje humano, libros y todo lo que hay en internet. La manera en que estos sistemas funcionan, aprenden, razonan y hacen lo que hacen es realmente distinta de la humana.

Ese tema fue retomado por gente de la psicología del desarrollo, en especial Mike Frank, de Stanford, que escribió un artículo sobre cómo la gente de IA debería inspirarse en el estudio de bebés y niños pequeños. Otros lo extendieron a la inteligencia animal. Y creo que una de las cosas que la gente de las ciencias cognitivas viene reclamando es que en IA se adopten metodologías experimentales que la vuelvan más parecida a una ciencia.

STROGATZ: Me gusta mucho este punto de vista, y creo que puede no ser tan familiar para nuestros oyentes. Admito que no lo era para mí. Nunca estudié ciencia cognitiva ni tomé un curso de psicología del desarrollo, y la gente de esos campos lleva pensando estos temas... bueno, no sé. Dime tú.

MITCHELL: Al menos 100 años.

STROGATZ: Cien años. Vaya. Y venía pensando en el camino que hablamos constantemente de la IA como una caja negra. Que no podemos leer con facilidad los pesos de las neuronas, o que incluso si podemos, no sabemos qué nos dicen. Pero por lo mismo, ¿no podría decirse que nuestra propia inteligencia es, en muchos sentidos, una caja negra?

MITCHELL: Por supuesto. Tenemos distintas maneras de penetrar la caja negra. Una es la neurociencia, donde efectivamente metemos sondas en las neuronas, o usamos resonancia magnética funcional u otras técnicas de imagen. También está la psicología, donde uno observa la conducta de una persona o un animal e intenta inferir de ahí los mecanismos subyacentes.

Esas dos tradiciones estuvieron bastante separadas durante mucho tiempo. El campo de la ciencia cognitiva intentó integrarlas, y originalmente también incluía a la IA. De algún modo esa integración no funcionó.

Tres maneras de abrir la caja negra

STROGATZ: ¿Quieres decir que no prendió sociológicamente, o a qué te refieres?

MITCHELL: Originalmente se pensaba que íbamos a programarlas del modo en que funcionan los humanos. Había una conexión muy estrecha entre la psicología humana y quienes intentaban construir esa psicología dentro de la IA. Y eso no rindió los frutos que sí vimos con las redes neuronales y el aprendizaje a partir de datos, en vez de programarlo.

MITCHELL: Y las propias redes neuronales se inspiraron originalmente en la neurociencia, pero la manera en que funcionan hoy divergió considerablemente de esa inspiración inicial. Creo que el campo del aprendizaje automático se fue mucho más en la dirección de la estadística, que es bastante distinta del modo en que opera la ciencia cognitiva.

¿Siguen sin transferir lo que aprenden?

STROGATZ: Me gustaría hablar un poco de los benchmarks, porque parecen ser una parte importante de la discusión social en estos días. Hubo algo que dio mucho que hablar en el mundo de las matemáticas. Uno de los últimos modelos de frontera hizo algo que parecía una forma de creatividad: resolvió un viejo problema pendiente, uno de los que dejó planteados Paul Erdős, el gran matemático húngaro. El llamado problema de la distancia unitaria fue resuelto hace poco de una manera muy ingeniosa por una IA, y consistió en juntar dos áreas de las matemáticas de un modo que no se había intentado antes.

Lo traigo a colación porque la última vez que hablamos comentábamos una IA vieja que aprendía a jugar algún juego de Atari. Decías que era buenísima jugando, pero que si movías la paleta un par de píxeles, tenía que reaprender todo de nuevo. No sabía jugar la más mínima variación del juego original.

Lo que dijiste entonces se me quedó grabado: "Lo extraño es que estas máquinas no parecen capaces de transferir su brillantez a ningún otro dominio que no sea aquel en el que fueron entrenadas".

De eso hace cinco años. La pregunta que abre el resto de la conversación es si eso sigue siendo cierto hoy, cuando un modelo de frontera es capaz de cruzar dos ramas de las matemáticas para resolver un problema que llevaba décadas abierto.