Seis integrantes de METR, una organización sin fines de lucro que evalúa modelos de IA, trabajan desde dentro de Anthropic para revisar sus modelos y sus prácticas de seguridad. La empresa lo anunció y The Decoder lo publicó el 16 de octubre.
El equipo de METR recibió hardware de la compañía, espacio de oficina y acceso a herramientas internas. Según Anthropic, eso los deja más o menos al mismo nivel que sus propios equipos de evaluación de riesgos.
¿Qué queda fuera del alcance de METR?
Hay tres cosas que siguen vedadas. Los datos de clientes, la información protegida por el secreto profesional entre abogado y cliente, y los detalles de la arquitectura de los modelos.
METR publicará sus hallazgos de manera independiente. Anthropic puede pedir que se oculten partes del informe dentro de ciertas categorías definidas de antemano, pero METR queda libre de decir en público si considera que esos recortes estaban justificados.
Por qué Anthropic no publica todo
Anthropic sostiene que no toda la información relevante para la seguridad se puede hacer pública. Parte de ella podría ayudar a un atacante, y otra parte es sensible desde el punto de vista comercial.
El acuerdo con METR va más lejos que lo que la empresa les ha ofrecido a otros revisores externos. SecureBio, Accenture y Faculty han tenido hasta ahora menos acceso y límites más estrictos sobre lo que pueden publicar. Anthropic también inició conversaciones preliminares con Hugging Face.
El paso llega después de que Anthropic firmara el Acuerdo de la Casa Blanca sobre Superinteligencia, que incluye el compromiso de trabajar con revisores externos.
