A 30B German-English Mixture-of-Experts hybrid model trained on 27T tokens is releasing weights, code, and full data accounting. It's the most transparent sovereign model in Europe so far.
Why this matters
If your work touches German text — customer support, legal documents, internal tools — and you can't legally ship that data to a US API, pay attention. The Soofi Team just published a paper on arXiv for Soofi S 30B-A3B, a fully open-source Mixture-of-Experts model built for German and English together.
The headline number is real. According to the paper, Soofi S outperforms Olmo 3 32B and Apertus 70B on the German and English aggregate evaluations among fully open models. This isn't a side project — it's a serious release.
What 30B-activates-3B actually means
MoE stands for Mixture-of-Experts. The model has 30 billion parameters in total, but only 3 billion activate per token. The rest sit dormant until needed.
The practical win: inference memory stays roughly constant as context grows. So if you're running an app with many concurrent users each sending long prompts, the throughput advantage over a dense model is decisive.
The architecture is hybrid Mamba + Transformer. That combination is well-suited for long-context RAG over contracts, transcripts, or technical documentation where the context window matters as much as reasoning quality.
Why "sovereign" is the load-bearing word
The model was trained end-to-end on the German Industrial AI Cloud, a sovereign HPC facility operated by Deutsche Telekom in Munich. That gives it three properties that matter for European companies:
- Training data never left Germany.
- The compute stack is European.
- The release under open-access terms includes weights, checkpoints, full per-source data accounting, hyperparameters, and training code.
For DACH companies bound by GDPR or by internal data-handling policies, this opens a third option that wasn't there before. Llama is American. OpenAI and Anthropic are closed. Soofi S is the first credible European sovereign open model at scale.
How Soofi compares to other open models
Many "open" models release weights and nothing else. Soofi Team commits to releasing:
- Final weights.
- Selected intermediate checkpoints.
- Full per-source data accounting.
- Training and evaluation code.
- Hyperparameters.
If you're a researcher or engineer who needs to reproduce the training run or continue pretraining on domain data, that level of transparency is rare at this scale.
What you can do right now
The model isn't released yet — the team has committed to an open-access drop soon. In the meantime:
- Read the paper on arXiv. It's written clearly and you don't need to be an MoE expert to follow it.
- Benchmark an existing open model on your real German workloads: support replies, contract summarization, call transcripts. Measure the gap before Soofi S lands.
- If your team is in the EU and handles sensitive data, set up local GPU hosting now. The infrastructure work pays off the day the weights drop.
📚 Sources
- Soofi S paper on arXiv
- German Industrial AI Cloud — Deutsche Telekom HPC
- Olmo 3 32B — Allen AI
- Apertus 70B — ETH Zürich / EPFL
Arabic version
Soofi S 30B: أوّل نموذج MoE مفتوح وأوروبي جدّياً
نموذج MoE هجين بحجم 30 مليار للإنجليزي والألماني، متدرّب على 27 تريليون توكن، وبينزّل أوزانه وكوده ومحاسبة بياناته كاملة. هاد أوضح نموذج سيادي بأوروبا لساته.
ليش هاد الخبر بيهمّك
لو بتقرأ ألماني أو بتدير فريق بشركة بدها نموذج لغة محلي بدون ما تبعت بياناتها لشركة أمريكية — اهتمّ. هاد الأسبوع فريق Soofi نزّل على arXiv ورقة بحثية لنموذج اسمه Soofi S 30B-A3B، وهو نموذج مفتوح المصدر بالكامل، مصمّم خصّيصاً للألماني والإنجليزي معاً.
النقطة اللي لازم تفهمها من البداية: مو نموذج صغير "بيجرّب" يفهم ألماني. بحسب الورقة، النموذج بيتفوّق على Olmo 3 32B وعلى Apertus 70B بمعايير التقييم الإنجليزية والألمانية — وهاد بين النماذج المفتوحة اللي نزّلوا أوزانهم وبياناتهم بشكل كامل. يعني القفزة مو تجريبية، هي نتيجة فعلية.
شو يعني "30 مليار بس بيفعّل 3 مليار"؟
هاد النموذج من نوع Mixture-of-Experts، يعني من الـ30 مليار معامل، بس 3 مليار بينشطوا بكل توكن. الباقي موجود بس ما اشتغل بهيك لحظة.
شو الفايدة العملية؟ لما النموذج يخدم طلبات كتير بنفس الوقت، استهلاك الذاكرة ما بيكبر مع طول السياق بشكل كبير. يعني لو عندك تطبيق بيوصل لـ50 ألف مستخدم بنفس الوقت وكل واحد عم يحكي مع النموذج بنص طويل — التكلفة والأداء بيفضلوا ثابتين تقريباً. هاد شي النماذج الكلاسيكية (dense) بتعجز تعمله.
إضافة لهيك، التصميم هجين Mamba + Transformer. هاد بيسمحللنموذج يركّز على السياق الطويل بدون ما يضرب سقف الذاكرة بشكل دراماتيكي، وهاد عملي مهم لـRAG على وثائق طويلة أو لتحليل عقود أو لتفريغ مكالمات خدمة عملاء بطول ساعة كاملة.
ليش "سيادي" كلمة مفتاح
النموذج اتدرّب بالكامل على بنية تحتية اسمها German Industrial AI Cloud، مملوكة لشركة Deutsche Telekom في ميونخ. هاد يعني:
- البيانات ما طلعت من ألمانيا أبداً.
- التدريب كله صار على أجهزة أوروبية.
- الأوزان والكود ومحاسبة البيانات رح تنزل بشكل كامل تحت رخصة مفتوحة.
لشركات DACH — ألمانيا، النمسا، سويسرا — هاد شي ضخم. كتير منهن ممنوع قانونياً (GDPR، أو سياسات داخلية) يبعتوا بيانات عملائهم لـOpenAI أو لـAnthropic. الحل الوحيد اللي كان عندهم هو Llama من Meta (مش سيادي أوروبي) أو نماذج مغلقة من OpenAI/Anthropic (بتخرق قوانينهم). هلّق عندهم خيار ثالث حقيقي.
القصة مو بس قانونية. كتير شركات أوروبية — خاصة بالمصارف، التأمين، الصحة — بدها نموذج بيتفهّم ألماني محكي مو بس فصحى معقّمة. Soofi S متدرّب على بيانات فيها ألماني مرفوع الأوزان عمداً، وهاد بيساعده يمسك التعابير المحكية واللهجات المحلية اللي النماذج العامة بتضيع فيها.
شو الفرق بينه وبين النماذج المفتوحة الثانية؟
كتير نماذج "مفتوحة" بتنزّل أوزانها بس. ما بتقولك كيف اتدربت، على أي بيانات، أو بأي بنية تحتية. Soofi Team قرّر يفتح كل شي:
- الأوزان النهائية.
- شيك بوينتس مختارة من مراحل التدريب.
- محاسبة كاملة لكل مصدر بيانات: شو حجمه، شو نسبته، كيف انفلتر.
- هايبر بارامترات التدريب.
- كود التدريب وكود التقييم.
لو أنت باحث أو مهندس ومحتاج تعيد إنتاج النموذج أو تدرّبه أكتر على بياناتك — هاد شي عملياً ممكن لأول مرة بنموذج بهاد الحجم من أوروبا.
حدود النموذج اللي لازم تعرفها
قبل ما تحمس حالك: الورقة بتقول كل شي بصراحة، وهاد بحد ذاتو شي نادر.
- 27 تريليون توكن كتير، بس Llama 3 متدرّب على أكتر. لو بدك نموذج يغطّي لغات ثانية (فرنسي، عربي)، رح تدرّبه أكتر بنفسك.
- MoE أصعب بالتوليف (fine-tuning) من dense. بتحتاج خبرا معينة إذا بدك تحسّن أداءه لمجال محدد.
- لسا ما نزّل رسمياً للناس. الفريق وعد بنزول وشيك، بس ما حدد تاريخ.
🔧 كيف تجرّبها هلّق
قبل ما النموذج ينزل رسمياً (الفريق وعد بنزوله بشروط مفتوحة قريباً)، فيك تعمل التالي:
- اقرأ الورقة الأصلية على arXiv عشان تشوف تفاصيل البنية — هي مكتوبة بشكل واضح، مو معقّد أكتر من اللازم.
- جرّب النماذج المفتوحة الموجودة (Olmo 3 32B مثلاً) على مهام ألمانية حقيقية من شغلك: ردود عملاء، تلخيص عقود، تفريغ مقابلات. شوف الفرق بأدائك الفعلي، وهيك بتعرف وين رح يضيف Soofi S لمّا ينزل.
- إذا فريقك أوروبي وعم تشتغلوا على بيانات حسّاسة، ابدأوا من هلّق بتحضير بيئة استضافة محلية (Hetzner أو حاسوبك الخاص ببطاقة رسومية كافية). حتى لو النموذج لسا ما نزل، التجهيزة بتوفر عليكم شهور لما ينزل.
- تابع حساب الفريق على GitHub أو Hugging Face — ولما ينزل أول شي، نزّل الأوزان وجرّبها على شغلك الحقيقي قبل ما تبنيلها.
📚 المصادر
- ورقة Soofi S على arXiv
- German Industrial AI Cloud — Deutsche Telekom HPC
- Olmo 3 32B — Allen AI
- Apertus 70B — ETH Zürich / EPFL
