[AINews] Fearing RSI: OpenAI, Anthropic, GDM, Meta, Thinky cosign letter to "Pace" AI development, as HuggingFace details Machine-Speed Offensive Cyberattack
The Big Pause is coming.
Hace 3 años, Elon Musk y Yoshua Bengio firmaron la carta de Future of Life abogando por una pausa de 6 meses en la IA, la cual la mayoría de los líderes de IA de frontera ignoraron alegremente.
Hoy, quienes pidieron la pausa tienen la última palabra.
Ayer mencionamos que, a menos que "fabriques leyes, chips o modelos", probablemente podrías ignorar el debate actual sobre los modelos de pesos abiertos (¡gracias a quienes nos mencionaron!).
Hoy, tenemos algo que NO podemos ignorar: más de 1.000 empleados de laboratorios de frontera, prácticamente todos excepto X.ai, han firmado una declaración distinta:
"La IA podría ayudar a crear un futuro dramáticamente mejor, pero ese resultado no está garantizado. Las empresas líderes en IA del mundo creen que podrían estar cerca de automatizar la investigación en IA. Es difícil predecir exactamente cuánto acelerará esto el progreso de la IA, pero existe un riesgo real de que el desarrollo de capacidades acelere rápidamente más allá de nuestra capacidad para entender o controlar los sistemas resultantes. Para hacer realidad el potencial de la IA, la industria, el gobierno y la sociedad en general pueden necesitar la opción de ganar tiempo* para abordar los riesgos emergentes, desarrollar medidas de seguridad y fortalecer la supervisión. Pero cada empresa —y país— está bajo una intensa presión competitiva para no ralentizar unilateralmente esa aceleración. Y hoy, el mundo carece de las herramientas técnicas y de gobernanza para pausar deliberadamente el progreso en toda la frontera. Basándonos en el trabajo que ya está en marcha para monitorear los lanzamientos de modelos de frontera: Solicitamos que el gobierno de EE. UU. apoye un esfuerzo internacional para desarrollar las herramientas técnicas y de gobernanza necesarias para pausar deliberadamente la frontera del desarrollo automatizado de IA".** - 1.171 empleados de empresas de IA de frontera*
Aunque se plantea como una acción tomada a "título personal y no representa necesariamente las opiniones de ninguna empresa", cuando Dario [Amodei] firma, Sam [Altman] está en podcasts estando de acuerdo, y la cuenta oficial de @OpenAI tuitea esta carta, digamos que la carta es un poco más oficial que Denny's firmando la carta de Nvidia por una risa rápida.
Esto no surge de la nada; Anthropic advirtió sobre la RSI (Mejora Recursiva de Auto-optimización) el mes pasado, y también dediqué un día completo de conferencias de Autoresearch con stickers impresos alentando la "RSI hasta la AGI".
Mientras tanto, esto ocurre justo cuando Huggingface publicó una retrospectiva detallada de su incidente de seguridad impulsado completamente por agentes de OpenAI, detallando cómo el modelo no lanzado/sin censura de OpenAI encadenó múltiples exploits de día cero tanto en la infraestructura privada de OpenAI como en la de HuggingFace, ejecutando 17.600 acciones en 2-4 días a velocidad de máquina... las cuales solo fueron detectadas y remediadas por su propio agente de seguridad de IA y GLM 5.2:
El equipo de seguridad de HF concluyó:
"El volumen es lo que cambia el problema defensivo.* No estábamos lidiando con un exploit inteligente o una secuencia limpia de acciones de atacante. Tuvieron que correlacionar miles de eventos de baja señal a través de varios sistemas mientras el agente continuaba probando nuevos caminos. El camino exitoso estaba oculto dentro del ruido generado por los miles fallidos. La misma escala cambió la investigación: reconstruir 17.600 acciones a mano era impracticable, y tuvimos que reconstruir la línea de tiempo, decodificar los payloads e inventariar las credenciales expuestas usando un pipeline asistido por IA propio. Nuestro aprendizaje de este tipo de ataque es que la ofensiva a velocidad de máquina hace que las debilidades ordinarias sean más costosas para los defensores. Los agentes LLM traen un aumento escalonado en el número de caminos que un atacante puede probar, la velocidad a la que los caminos fallidos pueden ser reemplazados y el volumen de evidencia que los defensores deben interpretar".*
Qué coincidencia de tiempos, este ataque y esta carta...
Noticias de IA del 27/07/2026 al 28/07/2026. Revisamos 12 subreddits, 544 cuentas de Twitter y ningún Discord adicional. El sitio web de AINews permite buscar todos los números anteriores. Como recordatorio, AINews es ahora una sección de Latent Space. ¡Puedes activar o desactivar las frecuencias de correo electrónico!
AI Twitter Recap
Lanzamiento de pesos abiertos de Kimi K3: arquitectura, infraestructura y el costo real de ejecutarlo
- Los detalles de Kimi K3 ya están disponibles: El modelo MoE de 2.8T de parámetros de Moonshot, con aproximadamente 104B de parámetros activos/token, se lanzó con pesos, un informe técnico e infraestructura de soporte. Varios análisis técnicos convergieron en la misma historia: K3 escala a través de longitud, profundidad y ancho en lugar de solo el conteo de parámetros. @ZhihuFrontier resumió el stack híbrido de contexto largo: Kimi Delta Attention (KDA) más Gated MLA, AttnRes sobre profundidad y un LatentMoE disperso; las notas de arquitectura de @rasbt enfatizan a K3 como una evolución a escala de producción de Kimi Linear, con NoPE en todas partes, multimodalidad nativa y residuales de atención que añaden un costo modesto para ganancias consistentes. El informe también describe una receta de post-entrenamiento que es cada vez más estándar en la frontera: entrenar múltiples profesores de RL especialistas, luego fusionarlos con destilación on-policy de múltiples profesores; ver @BhavinJawade.
- La infraestructura es parte del lanzamiento, no algo secundario: Junto con el modelo, Moonshot lanzó MoonEP, FlashKDA y AgentEnv, subrayando que K3 depende tanto de las comunicaciones, kernels y entrenamiento de agentes en sandbox como de la arquitectura del modelo. Este tema surgió repetidamente en los comentarios y el trabajo de despliegue: la nota de Baseten enmarca a K3 como un sistema que asigna capacidad por función —memoria recurrente, recuperación periódica, expertos dispersos y acceso residual selectivo— mientras que los documentos de NVIDIA apoyan el despliegue en Dynamo y Red Hat AI lanzó un checkpoint ajustado para FP8-Block Hopper para H100/H200 con soporte día-0 para vLLM. La reacción de la comunidad fue que el informe es inusualmente rico y denso: "si alguna vez quieres sentirte tonto, solo lee el informe técnico de Kimi K3".
- Pesos abiertos no significa acceso fácil: Un contraargumento útil al enfoque de "abierto" provino del análisis de costos de @ZhihuFrontier, que argumenta que K3 es efectivamente un proyecto de infraestructura. Las configuraciones mínimas verificadas públicamente son de alrededor de 8× MI355X solo para cargar el modelo; el servicio de producción significativo puede requerir 64+ GPUs en un dominio de alto ancho de banda porque el enrutamiento de expertos y la interconexión se convierten en el cuello de botella. El estimado: costo de entrada de seis cifras en USD para un servidor de 8 GPUs, con despliegues a escala de producción alcanzando decenas de millones de RMB. En la práctica, muchos usuarios consumirán K3 a través de ofertas alojadas en lugar de auto-hospedarlo. Los proveedores se movieron rápidamente: Perplexity añadió un K3 alojado en EE. UU. para Pro/Max.
Vía Latent Space.
