¿Es la destilación el secreto detrás del Kimi K3?

El asesor científico de la Casa Blanca, Michael Kratsios, declaró que Moonshot, la empresa china detrás de Kimi K3 —actualmente el LLM de pesos abiertos más grande disponible—, construyó su modelo copiando el LLM Fable de Anthropic mientras utilizaba chips que no cuentan con autorización para ser exportados a China.

“La destilación industrial encubierta a gran escala, destinada a robar tecnología estadounidense patentada y socavar la investigación nacional, es inaceptable”, escribió Kratsios en X, en medio de las discusiones sobre prohibir los modelos chinos de pesos abiertos, un tema que ha sacudido al sector de la IA. Moonshot no respondió a las consultas sobre su proceso de entrenamiento y Kratsios no compartió más detalles sobre las fuentes de sus alegaciones.

El mensaje de Kratsios hizo eco de los comentarios del Secretario del Tesoro, Scott Bessent, quien afirmó: “estamos encontrando marcas de agua de nuestros modelos de lenguaje estadounidenses en muchos de los modelos chinos, y eso es inaceptable”. No está claro en qué consisten dichas marcas de agua y el Departamento del Tesoro no respondió a una solicitud de información.

Sin embargo, los expertos se muestran escépticos de que la destilación —el proceso de consultar a un LLM para determinar su funcionamiento interno y copiar sus capacidades— sea el responsable de las capacidades avanzadas que muestra Kimi K3.

“No creo que se obtenga un modelo tan potente y tan rápido tras el lanzamiento de Fable haciendo estrictamente destilación”, señaló a TechCrunch Braden Hancock, investigador del Instituto Laude y cofundador de Snorkel AI. “Francamente, ni siquiera hay tiempo. Fable solo ha estado disponible públicamente desde el 1 de julio. No se puede destilar tal cantidad de datos, entrenar un modelo y lanzarlo en dos semanas”.

“He mantenido la opinión de que la destilación es cada vez menos impactante a medida que los modelos chinos se acercan a la frontera y el régimen de entrenamiento se desplaza hacia el [aprendizaje por refuerzo]”, explicó Nathan Lambert, investigador de IA en el Allen Institute for AI, en un podcast publicado ayer. “Si fuera el caso, cualquiera podría alcanzar fácilmente a un GLM o a un K3 usando sus datos para destilación. Pero no lo hemos visto, ni lo veremos, solo mediante ajuste fino supervisado (SFT)”.

Realizar destilación requiere que un laboratorio consulte sistemáticamente al modelo objetivo para generar datos que puedan utilizarse en el post-entrenamiento. A veces, esto implica pedir explícitamente al modelo que articule su cadena de pensamiento para entender cómo resuelve problemas. En otros casos, los prompts y respuestas de un modelo se utilizan para entrenar a otro en un proceso llamado ajuste fino supervisado (SFT).

Es este proceso de ajuste fino el que puede resultar en que un modelo, creado aparentemente por un tercero, afirme ser Claude. El ajuste fino es, en opinión de Lambert, donde el “modelo aprende sus modales”.

No obstante, Lambert sostiene que los beneficios del SFT son cada vez menos importantes a medida que los modelos se vuelven más complejos. Destilar capacidades similares a las de Fable probablemente requeriría técnicas de aprendizaje por refuerzo. En muchos casos, esto significa tener un agente del modelo más grande que califique las respuestas del modelo más pequeño y ajustar basándose en esa calificación.

Las técnicas más avanzadas también requieren una infraestructura más significativa. Las grandes ejecuciones de aprendizaje por refuerzo pueden requerir decenas de millones de agentes. Usar la API de un laboratorio de frontera para hacer eso “sería increíblemente costoso y potencialmente un cuello de botella temporal, porque estos modelos son bastante lentos y, para ser sinceros, quizás ni siquiera proporcionen una mejora en el rendimiento”.

Parece probable que modelos de frontera anteriores hayan contribuido a Kimi; Anthropic acusó públicamente a Moonshot, DeepSeek y MiniMax de destilar sistemáticamente sus modelos a principios de este año. Anthropic afirmó haber descubierto millones de intercambios entre sus modelos y usuarios identificados en dichas empresas mediante direcciones IP y otros metadatos. Esas consultas eran “distintas a los patrones de uso normal, reflejando una extracción deliberada de capacidades en lugar de un uso legítimo”. Anthropic no respondió a las consultas de TechCrunch sobre la destilación de Fable.

Sin embargo, la destilación se considera una práctica común entre las empresas de IA, no solo en China. Elon Musk testificó a principios de este año que su empresa, SpaceXAI, destiló modelos de OpenAI para desarrollar Grok, y que la práctica era común en la industria. La línea entre destilación y desarrollo de conjuntos de datos sintéticos, por ejemplo, puede ser bastante difusa.

“En general, los estadounidenses están subestimando la experiencia técnica de estos equipos chinos”, dijo Hancock. “Uno de los fundadores de Moonshot fue estudiante de doctorado en CMU. Son investigadores e ingenieros legítimos haciendo un trabajo sólido… si los modelos estadounidenses se detuvieran, creo que el progreso de China se ralentizaría, pero continuaría. No solo están aprovechándose de otros”.

También es difícil separar la destilación de la segunda parte del comentario de Kratsios: que Moonshot obtuvo chips Nvidia avanzados, los Grace Blackwell 300 (GB300), y accedió a servidores equipados con ellos en Tailandia. Esos chips tienen prohibida la exportación a China, pero existe un mercado negro, según Sam Bresnick, investigador del Centro de Seguridad y Tecnología Emergente de Georgetown. En mayo, el fundador de Supermicro, un fabricante de servidores de EE. UU., fue acusado de contrabando de chips avanzados hacia China.

“Soy partidario de las leyes de 'conozca a su cliente' (KYC) para los centros de datos en todo el mundo”, dijo Bresnick. “Si permites que una empresa realice grandes ejecuciones de entrenamiento en tu hardware de última generación, debe existir un mecanismo de reporte sobre quién es esa empresa y qué está haciendo”.

El Departamento de Comercio del presidente Joe Biden propuso reglas federales de KYC para centros de datos en 2024, pero no parece haber habido más avances bajo la administración de Donald Trump. Sin embargo, los exportadores que envían chips avanzados al extranjero deben garantizar que solo se utilicen para fines aprobados.

Vía TechCrunch.