Richard Sutton, ganador del Premio Turing 2024 y una de las figuras que dieron forma al aprendizaje por refuerzo moderno, lanzó una nueva startup llamada Oak Lab en Toronto. La compañía nace con una tesis incómoda para la industria: los métodos dominantes de hoy no alcanzan para llegar a una inteligencia artificial de verdad general.

Sutton fundó Oak Lab junto a Khurram Javed. Ambos venían de trabajar en Keen Technologies, la empresa de IA de John Carmack (el legendario programador detrás de Doom y Quake). El nombre no es casual: Oak Lab hereda de Keen la apuesta por el aprendizaje por refuerzo y la convicción de que un agente debe aprender de la experiencia mientras opera, no entrenarse una única vez sobre conjuntos de datos congelados.

¿Qué critica Sutton del deep learning actual?

El diagnóstico de Sutton es directo. Según él, los métodos actuales de aprendizaje profundo son "débiles e ineficientes" y no necesitan "más ajustes, sino ideas fundamentalmente nuevas y una reelaboración a fondo antes de que puedan servir como base sólida para alcanzar las metas más ambiciosas de la IA".

Sus declaraciones recientes anticipan hacia dónde apunta. En junio argumentó que la IA generativa es buena imitando, pero incapaz de evaluar sus propias salidas, lo que la vuelve incapaz de descubrimiento genuino. La distinción es clave: imitar el corpus de entrenamiento no es lo mismo que evaluar si una idea nueva funciona en el mundo.

¿Qué quiere construir Oak Lab?

Sutton quiere agentes que aprendan de forma continua desde su entorno, que construyan modelos internos del mundo y que manejen por sí mismos la variación, la evaluación y la selección de sus propias conductas. Es la vieja tradición del aprendizaje por refuerzo llevada al extremo: sistemas que mejoran mientras actúan, no modelos que se entrenan y luego se congelan.

La meta de largo plazo que menciona es deliberadamente provocadora: un agente con "un billón de parámetros que aprende y planifica en tiempo real con 20 watts de energía". La cifra de 20 watts no es arbitraria: es aproximadamente el presupuesto energético del cerebro humano, un guiño a que la eficiencia biológica sigue siendo el punto de referencia que la IA no logra igualar. Para dimensionarlo: los centros de datos que entrenan los modelos frontera de hoy consumen megawatts, seis órdenes de magnitud por encima de esa meta.

Sutton comparte con Andrew Barto el Premio Turing 2024 por sentar las bases conceptuales y algorítmicas del aprendizaje por refuerzo, el mismo campo que después alimentó hitos como AlphaGo. Su ensayo de 2019 "The Bitter Lesson" ("La lección amarga") ya defendía una idea que ahora lleva a Oak Lab: los métodos que escalan con cómputo y aprendizaje terminan ganándole a los sistemas cargados de conocimiento humano hecho a mano.