El fundador y CEO de Anthropic, Dario Amodei, respondió el lunes por la tarde a los rumores en la industria que sugerían que su empresa apoyaba los esfuerzos del gobierno de EE. UU. para prohibir los modelos de pesos abiertos (open-weight) chinos, o potencialmente los modelos abiertos en general.
“Cualquiera que haya leído mis escritos anteriores debería saber que no considero tales prohibiciones como una medida útil, pero permítanme declararlo claramente para que no haya dudas: Anthropic nunca ha abogado por una prohibición de los modelos de pesos abiertos”, escribió, enfatizando sus propias palabras.
Su respuesta se produjo después de que el fundador y CEO de Nvidia, Jensen Huang, utilizara X (su primera publicación en la plataforma) para compartir una carta abierta el viernes en la que Nvidia y una larga lista de otras compañías de IA, incluyendo Hugging Face, Meta, Microsoft, Mistral y Nvidia, instaron a los legisladores a no imponer “restricciones prematuras” y amplias a los modelos de IA de pesos abiertos.
Aunque esa carta no mencionó a China específicamente, el debate en la industria se ha centrado en las acusaciones de que los laboratorios de IA chinos están aumentando sus capacidades a menudo robando propiedad intelectual de sus contrapartes estadounidenses. Un método es la destilación, donde una IA bombardea a otro modelo con prompts para aprender cómo funciona.
Amodei dijo en la entrada de blog publicada el lunes que considera que los modelos de pesos abiertos caen en una categoría diferente a la amenaza que representa China. “Los modelos de pesos abiertos que no tienen capacidades peligrosas son un bien público: no cuestan nada más allá del cómputo necesario para ejecutarlos, y brindan valor a empresas, desarrolladores e investigadores”.
Amodei afirmó en su publicación que tiene temores de larga data sobre la IA, pero que las empresas que utilizan modelos de pesos abiertos, incluso los provenientes de China, no se encuentran entre ellos.
Su temor es que los “gobiernos autoritarios” construyan modelos que sean más potentes que los de EE. UU. para lograr una “superioridad militar permanente” y/o utilicen la IA para reprimir a su propia población. Dijo que el Partido Comunista Chino (PCCh) no es el único gobierno autoritario que le preocupa, pero es el “más capaz”.
Amodei también expresó que teme que la IA permita “ataques biológicos”, no solo ciberataques. Y, en su opinión, los modelos de pesos abiertos son más peligrosos en esos escenarios porque es difícil aplicar medidas de seguridad (guardrails) o monitorear su uso. También señaló, citando un informe del Instituto de Seguridad de IA del Reino Unido, que una vez que los pesos abiertos son liberados, no pueden retirarse.
Esto contradice lo que argumentan los defensores del código abierto: que el acceso a modelos abiertos potentes no controlados por una sola entidad ayuda a los defensores a protegerse a sí mismos.
Amodei enumeró acciones que cree que frustrarían a China, incluyendo restringir su acceso a chips potentes (lo cual ha sido una política estadounidense de larga data) y pedir una represión formal contra la destilación. EE. UU. ha amenazado con sanciones contra China si determina que hubo robo de propiedad intelectual relacionado con modelos estadounidenses.
Curiosamente, Amodei también dijo que apoya los esfuerzos crecientes, algunos liderados por EE. UU., para crear una organización de pruebas de seguridad de modelos, especialmente si el mundo entero, incluida China, aceptara someterse a ella.
“Creo que esta idea está cerca de un consenso: me ha alentado tanto que la administración Trump se haya movido en esta dirección en los últimos meses, como las propuestas recientes de la industria que aplicarían tales pruebas a los modelos más capaces independientemente de su país de origen o de si son abiertos o cerrados (mientras eximen por completo a modelos menos capaces, como los de startups y el mundo académico)”, escribió Amodei.
“Tenga en cuenta que para ser efectiva”, añadió, “las pruebas tendrían que ser globales, lo que significa que incluso el PCCh tendría que estar a bordo. Creo que esto puede ser realmente posible… una cooperación limitada en torno a la prevención de armas biológicas de IA puede ser posible porque también está en el interés de China”.
Vía TechCrunch.
