Nuestra postura sobre los modelos de open-weights

Un artículo de Dario Amodei, CEO de Anthropic

Durante los últimos días ha existido una intensa discusión sobre los modelos de open-weights (pesos abiertos), especialmente aquellos provenientes de China. Los reportes sugieren que algunos funcionarios estadounidenses están considerando prohibir el uso de modelos chinos de pesos abiertos por parte de empresas de Estados Unidos. En respuesta, muchas compañías tecnológicas han firmado una carta apoyando los modelos de pesos abiertos, y algunas personas incluso han acusado a Anthropic de querer prohibir estos modelos como un medio para proteger nuestro negocio. Cualquiera que haya leído mis escritos anteriores debería saber que no considero tales prohibiciones como una medida útil, pero permítanme declararlo claramente para que no haya dudas: Anthropic nunca ha abogado por una prohibición de los modelos de open-weights.

Los modelos de pesos abiertos que no poseen capacidades peligrosas son un bien público: no cuestan nada más allá del cómputo necesario para ejecutarlos, y proporcionan valor a empresas, desarrolladores e investigadores.

Las prohibiciones proteccionistas no abordarían mis preocupaciones más graves sobre la seguridad nacional. Específicamente, me preocupan dos escenarios de pesadilla. Los expuse en mi ensayo The Adolescence of Technology hace seis meses, y he mantenido estas posiciones de manera consistente durante muchos años:

  • Mi preocupación principal es el riesgo de que gobiernos autoritarios —no solo el Partido Comunista Chino (PCCh), aunque el PCCh es claramente la amenaza más capaz— construyan modelos de IA que sean más potentes que los construidos por Estados Unidos, y los utilicen para lograr una superioridad militar permanente o perpetrar una represión increíblemente profunda contra su propio pueblo. Esta preocupación es ampliamente compartida dentro del gobierno de los Estados Unidos: el vicepresidente Vance advirtió en París el año pasado que “los regímenes autoritarios han robado y utilizado la IA para fortalecer sus capacidades militares, de inteligencia y de vigilancia”, y la Evaluación Anual de Amenazas 2026 de la Comunidad de Inteligencia concluyó que “el progreso robusto de otras potencias globales en IA está desafiando la competitividad económica y las ventajas de seguridad nacional de Estados Unidos”. Es irrelevante si estos modelos se lanzan con pesos abiertos, y ciertamente irrelevante si son utilizados por empresas estadounidenses. De hecho, el modelo más peligroso puede ser aquel que se entrena en secreto y se entrega únicamente al Ejército Popular de Liberación para su uso en drones y al Ministerio de Seguridad del Estado para vigilancia y represión.
  • Mi preocupación secundaria es el riesgo de que modelos de IA potentes puedan ser utilizados indebidamente para llevar a cabo ciberataques o ataques biológicos, y puedan tener serios problemas de alineación. Los modelos de open-weights —no importa si provienen de China o de cualquier otro lugar— presentan potencialmente un riesgo mayor que los modelos cerrados, porque es muy difícil aplicar salvaguardas (guardrails) o monitorear su uso, y una vez que los pesos son liberados, no pueden ser retirados. Pero prohibir el uso de estos modelos por parte de empresas estadounidenses no hace nada para abordar este riesgo, porque es poco probable que los actores malintencionados sean empresas estadounidenses legítimas. Sí protegería a las empresas de IA de Estados Unidos de la competencia, pero ese nunca ha sido mi objetivo.

Para abordar estas preocupaciones, sí apoyo las siguientes tres medidas, que yo y Anthropic hemos defendido consistentemente:

  • No deberíamos vender chips potentes o equipos de fabricación de chips a China, y deberíamos tomar medidas enérgicas contra el contrabando rampante smuggling y las soluciones alternativas utilizadas para obtener acceso a dichos chips. China tiene una capacidad de producción nacional limitada y, por lo tanto, debido a las leyes de escalamiento, no puede construir modelos más potentes que Estados Unidos sin chips estadounidenses. Esta es la forma más eficiente y directa de bloquear la amenaza #1, y al obstaculizar el entrenamiento de modelos que están fuera del alcance de la ley estadounidense, también ayuda indirectamente con la amenaza #2.
  • Deberíamos tomar medidas enérgicas contra las operaciones de destilación a escala industrial. La destilación es un proceso mucho más eficiente en términos de cómputo que el entrenamiento de modelos desde cero. Permite a China construir modelos mucho mejores de lo que su cantidad de chips permitiría normalmente, y así evadir parcialmente las prohibiciones de chips. La destilación no permite al PCCh obtener capacidades de IA equivalentes o superiores a las de Estados Unidos, pero puede acercar la frontera china a unos pocos meses de la frontera estadounidense. Es cierto que muchas de las empresas que llevan a cabo estas operaciones lanzan modelos de open-weights, pero los pesos abiertos son mucho menos relevantes que el hecho de que las operaciones están respaldadas por un estado autoritario que busca superar a Estados Unidos en la frontera tecnológica. Deberíamos tener intervenciones políticas para disuadir este comportamiento. Una prohibición general sobre los modelos de pesos abiertos no es el remedio correcto ni algo que hayamos solicitado.
  • Todos los modelos suficientemente capaces, abiertos y cerrados, deben someterse a pruebas de seguridad obligatorias. La mejor manera de abordar la amenaza #2 es simplemente probar directamente los modelos en busca de riesgos cibernéticos, biológicos y de alineación antes de su lanzamiento. Creo que esta idea está cerca de un consenso: me ha animado tanto que la administración Trump se haya movido en esta dirección en los últimos meses, como por las recientes propuestas de la industria que aplicarían dichas pruebas a los modelos más capaces independientemente de su país de origen o de si son abiertos o cerrados (mientras se exime por completo a modelos menos capaces, como los de startups y el mundo académico). Si los modelos abiertos plantean o no un riesgo mayor, y si ese riesgo puede ser mitigado, es algo que debería surgir de las pruebas en lugar de decidirse de antemano; y puede haber métodos prometedores para mejorar la seguridad de los modelos de pesos abiertos, incluyendo investigaciones recientes de AE Studio y Anthropic sobre estrategias de preentrenamiento modular. Tenga en cuenta que para ser efectivas, las pruebas tendrían que ser globales, lo que significa que incluso el PCCh tendría que estar a bordo. Creo que esto puede ser posible: como escribí en The Adolescence of Technology, una cooperación limitada en torno a la prevención de armas biológicas por IA puede ser posible porque también es del interés de China.

Esto me lleva a la carta abierta. Estoy de acuerdo con gran parte de ella: los pesos abiertos expanden el acceso a la economía de la IA, fortalecen la competencia al menos para algunos casos de uso y dan a los clientes un mayor control. Las preocupaciones sobre la destilación deben abordarse a través de marcos legales y comerciales específicos, la misma medida que describí anteriormente. Pero no estoy de acuerdo con las afirmaciones de la carta de que los modelos de pesos abiertos necesariamente facilitan el desarrollo de salvaguardas o que el acceso amplio a las capacidades necesariamente ayuda a los defensores más que a los atacantes. Me parece al menos tan probable que lo contrario sea cierto. Por ejemplo, me preocupa que la biología tenga una fuerte asimetría atacante-defensor, donde modelos suficientemente capaces podrían ser capaces de convertir rápidamente virus de nivel pandémico en armas con materiales ampliamente disponibles, mientras que la defensa contra estos agentes es una tarea operativa de varios años en el mejor de los casos (como vimos con la Operación Warp Speed). Preguntas como esta deberían ser respondidas empíricamente mediante pruebas rigurosas previas al lanzamiento, no asumidas de antemano.

Para resumir mi posición y la de Anthropic, no hemos abogado ni estamos abogando por una prohibición de los modelos de pesos abiertos.

Vía Anthropic.