La versión revisada del formulario S-1 que Anthropic presentó el lunes 2 de noviembre (S-1/A en el sitio de la SEC) trae algo más que cifras financieras nuevas, con ingresos que suben rápido y gastos que también. En la letra chica, según TechCrunch, el laboratorio advierte que está muy cerca de crear un modelo capaz de automejora recursiva, conocida por su sigla en inglés RSI.

La RSI es el punto en que una IA se vuelve tan buena para entrenarse a sí misma que dispara una aceleración brusca de sus capacidades. Para el bando más pesimista, es una catástrofe sin vuelta atrás, en la que la IA se construye hasta un nivel que escapa al control humano y puede ser indiferente al daño que cause mientras persigue sus objetivos. Para los entusiastas, una IA que se usa a sí misma para mejorar de forma confiable es justamente la promesa de la tecnología, una herramienta de productividad y descubrimiento científico sin precedentes.

¿Qué dice exactamente el S-1 de Anthropic?

Anthropic trata la RSI como promesa y como peligro a la vez. En el documento cuenta que usa IA en su investigación y desarrollo, pero advierte lo siguiente.

"Usar IA para ayudar a construir una IA más capaz también podría suponer un riesgo de seguridad considerable, en particular si acelera bruscamente el ritmo del progreso. Esta es una de las áreas que cubre nuestra Política de Escalamiento Responsable, que establece nuestros planes para monitorear y mitigar los riesgos a medida que nos acercamos a lo que se ha denominado 'automejora recursiva'."

Cuando el término se popularizó a comienzos de este año, muchos lo veían como una palabra de moda o, en el mejor caso, como una meta demasiado difícil de alcanzar, definir o demostrar.

El lunes, sin embargo, Anthropic sumó dos afirmaciones a su sección de factores de riesgo. La primera, que ya usó IA para desarrollar modelos nuevos cuyos saltos de capacidad no reconoció en su momento. La segunda, que podría cumplir pronto su propia definición interna de RSI. Este es el párrafo, con las negritas que agregó TechCrunch.

"Además, nuestro uso creciente de sistemas de IA para acelerar nuestra propia investigación y desarrollo puede hacer que las capacidades de nuestros modelos avancen más rápido que nuestra capacidad de desarrollar, validar e implementar las medidas de seguridad, alineamiento y protección correspondientes. Como resultado, en el pasado no hemos identificado, y puede que en el futuro no identifiquemos, una aceleración significativa de nuestro ritmo de desarrollo hasta después de que haya ocurrido. Por ejemplo, nuestras estimaciones internas y nuestras expectativas sobre modelos futuros, más que nuestros modelos actuales, indican que podríamos cumplir de forma inminente la definición de nuestra Política de Escalamiento Responsable de 'progreso drásticamente acelerado atribuible a la IA'. No hemos designado a ninguno de nuestros modelos actuales como superior a este umbral, y seguimos evaluando los datos subyacentes."

Humanos en el circuito, por ahora

En el mismo documento Anthropic afirma que ninguno de sus modelos ha cruzado todavía ese umbral y promete mantener a personas dentro del proceso de investigación y desarrollo en el futuro previsible.

"No prevemos poder usar Claude de forma segura para diseñar y construir de manera totalmente autónoma generaciones sucesivas de modelos de frontera sin una supervisión o comprensión humana significativa, si es que eso llega a ser técnicamente posible y cuando lo sea. En consecuencia, estamos evaluando actualizaciones a nuestra Política de Escalamiento Responsable para mantener a los humanos en control del desarrollo de modelos de frontera en Anthropic."

Los escépticos pueden recordar que un S-1 funciona a la vez como divulgación obligatoria y como pieza de marketing, y que decir que se está cerca de un modelo capaz de construirse a sí mismo podría caer en la segunda categoría.

TechCrunch reconoce, de todas formas, que las capacidades de Claude crecieron mucho este año, sobre todo en programación, matemáticas y ciberseguridad. Su lectura es que, si Anthropic cree que la RSI está cerca, quizás convenga tomarle la palabra y actuar en consecuencia, incluso con regulación.