Un consorcio de investigacion aleman coordinado por la KI Bundesverband (Asociacion Alemana de IA) libero Soofi S 30B-A3B, un modelo de lenguaje abierto que, segun su reporte de preentrenamiento, alcanza los puntajes mas altos en benchmarks de ingles y aleman entre los modelos completamente abiertos, superando a lideres previos como OLMo 3 32B y Apertus 70B.
Es uno de los primeros modelos grandes entrenados integramente en la Industrial AI Cloud de Deutsche Telekom en Munich. Gracias a su arquitectura hibrida Mamba-Transformer, Soofi S mantiene el rendimiento incluso en contextos muy largos, mientras que modelos densos como Apertus 70B y Qwen3 32B caen bruscamente.
¿Como logra ser tan eficiente Soofi S?
Soofi S es un modelo de mezcla de expertos (mixture-of-experts). Contiene 31,6 mil millones de parametros en total, pero activa solo unos 3,2 mil millones por token generado. Eso acerca su costo de computo al de un modelo de 3B mas que al de uno convencional de 30B. El consorcio adopta sin modificaciones la arquitectura de Nemotron 3 Nano de Nvidia, un diseno hibrido que combina capas Mamba-2 con capas de atencion estandar.
La diferencia clave frente a los transformers tipicos esta en el manejo de memoria. En los modelos convencionales, la cache KV que almacena los tokens previos para el calculo de atencion crece de forma lineal con la longitud del contexto. Con entradas largas y muchas solicitudes en paralelo, recargar esa cache se vuelve un cuello de botella. Solo 6 de las 52 capas de Soofi S mantienen esa cache.
El resultado practico aparece en la velocidad de generacion. Con un contexto de 40.000 tokens y 32 solicitudes en paralelo, Soofi S genera aproximadamente ocho veces mas tokens por segundo por GPU que los modelos densos en el rango de 14 a 24 mil millones de parametros. Mientras el rendimiento de los modelos convencionales cae al crecer el contexto, Soofi S se mantiene casi plano de 4.000 a 256.000 tokens. El unico modelo con comportamiento similar en las mediciones es Qwen3.5 35B-A3B de Alibaba, que tambien usa arquitectura hibrida.
Un mix de entrenamiento construido en torno al aleman
El consorcio proceso cerca de 27 billones de tokens en total, repartidos en tres fases. En la primera, el modelo aprende fundamentos del lenguaje con unos 20 billones de tokens de una mezcla amplia de web, codigo, matematicas y textos de dominio especifico. Una segunda fase suma unos 6 billones de tokens de fuentes de mayor calidad. Una tercera fase, mas corta, extiende la ventana de contexto entrenando con documentos muy largos de hasta un millon de tokens.
El foco deliberado en el aleman es central. En la primera fase, el aleman representa el 7,2 por ciento del mix de entrenamiento; en la segunda, esa proporcion sube al 15,3 por ciento. En la receta de referencia Nemotron de Nvidia, todos los idiomas distintos del ingles combinados suman solo cerca del 5 por ciento.
Para las fuentes de datos, el consorcio combina texto web en aleman de HPLT, el corpus German Commons de licencia abierta, porciones alemanas de FinePDFs y FineWiki, y el corpus con licencia comercial Genios, que contiene 193 millones de articulos de prensa de 916 publicaciones alemanas.
¿Que tan bueno es frente a otros modelos abiertos?
En evaluaciones contra otros 16 modelos abiertos, Soofi S lidera a todos los modelos completamente abiertos en puntajes agregados tanto de aleman como de ingles, segun el reporte. Eso incluye a OLMo 3 32B del Allen Institute for AI y a Apertus 70B de ETH Zurich y EPFL.
En benchmarks de codigo, Soofi S obtiene 73,8 por ciento en HumanEval, 70,2 en MBPP y 84,2 en la variante alemana German MBPP, los mejores resultados entre sus pares open source. En INCLUDE-DE, una prueba de conocimiento regional aleman, empata el primer lugar con 61,2 puntos junto al mayor Qwen3.5 35B-A3B. Comparado con la base Nemotron, la receta de datos en aleman mejora la competencia linguistica en 15,1 puntos y la prueba cientifica GPQA-Diamond en 9,6 puntos, sin sacrificar rendimiento en ingles.
No todo es liderazgo: Soofi S rinde peor en matematica de competencia en aleman, con 56 puntos en Minerva MATH-DE, lejos de Qwen3.5 35B-A3B (76,5) y Gemma 3 27B (65,6). Tambien queda atras en recuperacion factual abierta en NaturalQuestions, algo que probablemente se relaciona con tener solo 3 mil millones de parametros activos, que pueden almacenar menos conocimiento del mundo que un modelo denso de 27B.
Infraestructura soberana y apertura documentada
El entrenamiento se realizo entre marzo y mayo sobre hasta 512 GPU Nvidia B200 en la Industrial AI Cloud de Deutsche Telekom en Munich, con un total aproximado de 253.000 horas-GPU. Segun el reporte, la instalacion funciona integramente con energia renovable, se enfria con agua del canal Eisbach y aporta calor residual al barrio Tucherpark.
Detras de Soofi hay un consorcio de instituciones de investigacion y empresas alemanas, financiado por el Ministerio Federal de Economia y Energia dentro del programa europeo IPCEI-CIS. Participan los institutos Fraunhofer IAIS e IIS, el centro DFKI, la TU Darmstadt, la Universidad de Wurzburg, el centro L3S, la Berlin University of Applied Sciences y las empresas de IA Ellamind y Merantix Momentum.
Los investigadores liberan los pesos del modelo junto a checkpoints intermedios seleccionados, el codigo completo de entrenamiento y evaluacion, y un inventario detallado de datos. Segun el equipo, esto hace que Soofi S cumpla la definicion Open Source AI 1.0 de la Open Source Initiative. El reporte indica que cerca del 99 por ciento del mix de entrenamiento se puede reconstruir de forma independiente; la licencia exacta del modelo aun no esta finalizada.
Contexto para LatAm
Un modelo con solo 3,2B parametros activos y coste de computo cercano a un 3B abre una puerta concreta para la region: correr un modelo de calidad 30B en hardware modesto. Frente a los grandes pesos abiertos internacionales, Soofi S se posiciona como alternativa soberana europea. El foco en aleman no lo hace directamente util para el espanol, pero su receta (datos regionales deliberados mas arquitectura hibrida) es exactamente la que necesitaria un eventual modelo soberano en espanol para no depender de laboratorios estadounidenses.
