Anthropic trabaja en un sistema de código abierto para verificar qué modelo de IA produjo una respuesta determinada, según una entrada de blog que publicó el martes. El sistema se llama FlashProve y entrega lo que los investigadores llaman "inferencia demostrable", una prueba criptográfica (en la práctica, una garantía matemática) de que una respuesta salió de un modelo específico. La idea es que el usuario pueda confirmar que lo que recibió viene del modelo que cree estar usando.
Funciona de forma parecida a las firmas criptográficas del correo electrónico, que permiten al destinatario confirmar que un mensaje viene del remitente que dice ser. FlashProve resistiría a impostores que intenten hacer pasar un modelo por otro, incluso cuando el impostor es el propio laboratorio que construye y opera el modelo.
Los investigadores mencionan dos casos concretos. El sistema podría impedir que una empresa de IA cambie en secreto un modelo por otro más barato para recortar costos, o por uno más caro para inflar sus resultados de rendimiento.
¿Para qué más serviría?
FlashProve también podría verificar lo que afirman terceros cuando dicen que una tarea la hizo un modelo avanzado.
"Un desarrollador podría afirmar que su biblioteca de software fue revisada en busca de vulnerabilidades por un modelo de ciberseguridad de frontera, o una empresa podría afirmar que su plan de negocios recibió luz verde de un modelo apropiado", escriben los investigadores. "¿Cómo puede un usuario verificar esas afirmaciones?"
Una huella sin revelar los pesos
Para funcionar, el sistema exige que los laboratorios publiquen una huella de cada modelo que lanzan. Esa huella se compara después con respuestas específicas y se verifica por vía criptográfica.
Las huellas no revelan los pesos del modelo, los números internos que definen cómo se comporta y que fabricantes de modelos cerrados como Anthropic y OpenAI mantienen en reserva. Los laboratorios podrían publicarlas sin entregar su activo más valioso, y eso permitiría usar el sistema también con modelos comerciales. El diseño es liviano, de modo que la verificación podría hacerse en un dispositivo local.
¿Qué publicó Anthropic?
Junto con el anuncio, los investigadores publicaron una especificación técnica detallada y código funcional de varias partes del sistema, disponible con licencia de código abierto en GitHub. La investigación sigue en curso y no hay planes de desplegarlo en Anthropic ni en otro laboratorio.
"Esta publicación de investigación busca compartir un avance intermedio, no una agenda de investigación terminada", explican los investigadores en el anuncio. "Lo compartimos explícitamente con el objetivo de que otros miren lo que hicimos, lo tomen y lo mejoren".
