Richard Sutton, ganador del Premio Turing 2024 y una de las figuras que dieron forma al aprendizaje por refuerzo moderno, lanzo una nueva startup llamada Oak Lab en Toronto. La compania nace con una tesis incomoda para la industria: los metodos dominantes de hoy no alcanzan para llegar a una inteligencia artificial de verdad general.
Sutton fundo Oak Lab junto a Khurram Javed. Ambos venian de trabajar en Keen Technologies, la empresa de IA de John Carmack (el legendario programador detras de Doom y Quake). El nombre no es casual: Oak Lab hereda de Keen la apuesta por el aprendizaje por refuerzo y la conviccion de que un agente debe aprender de la experiencia mientras opera, no entrenarse una unica vez sobre conjuntos de datos congelados.
¿Que critica Sutton del deep learning actual?
El diagnostico de Sutton es directo. Segun el, los metodos actuales de aprendizaje profundo son "debiles e ineficientes" y no necesitan "mas ajustes, sino ideas fundamentalmente nuevas y una reelaboracion a fondo antes de que puedan servir como base solida para alcanzar las metas mas ambiciosas de la IA".
Sus declaraciones recientes anticipan hacia donde apunta. En junio argumento que la IA generativa es buena imitando, pero incapaz de evaluar sus propias salidas, lo que la vuelve incapaz de descubrimiento genuino. La distincion es clave: imitar el corpus de entrenamiento no es lo mismo que evaluar si una idea nueva funciona en el mundo.
¿Que quiere construir Oak Lab?
Sutton quiere agentes que aprendan de forma continua desde su entorno, que construyan modelos internos del mundo y que manejen por si mismos la variacion, la evaluacion y la seleccion de sus propias conductas. Es la vieja tradicion del aprendizaje por refuerzo llevada al extremo: sistemas que mejoran mientras actuan, no modelos que se entrenan y luego se congelan.
La meta de largo plazo que menciona es deliberadamente provocadora: un agente con "un billon de parametros que aprende y planifica en tiempo real con 20 watts de energia". La cifra de 20 watts no es arbitraria: es aproximadamente el presupuesto energetico del cerebro humano, un guino a que la eficiencia biologica sigue siendo el punto de referencia que la IA no logra igualar. Para dimensionarlo: los centros de datos que entrenan los modelos frontera de hoy consumen megawatts, seis ordenes de magnitud por encima de esa meta.
Sutton comparte con Andrew Barto el Premio Turing 2024 por sentar las bases conceptuales y algoritmicas del aprendizaje por refuerzo, el mismo campo que despues alimento hitos como AlphaGo. Su ensayo de 2019 "The Bitter Lesson" ("La leccion amarga") ya defendia una idea que ahora lleva a Oak Lab: los metodos que escalan con computo y aprendizaje terminan ganandole a los sistemas cargados de conocimiento humano hecho a mano.
