Mixture of Experts: Warum große Modelle nicht alles auf einmal aktivieren

Kimi K3 hat rund 2,8 Billionen Parameter – aber pro Antwort ist nur ein Bruchteil davon tatsächlich aktiv. Mixture of Experts erklärt, wie das geht.

Das Grundprinzip

Ein klassisches, „dichtes" Sprachmodell nutzt für jede Vorhersage alle seine Parameter. Ein Mixture-of-Experts-Modell (MoE) besteht dagegen aus vielen kleineren Teil-Netzwerken, den „Experten", plus einem Router, der pro Token nur eine kleine Auswahl davon aktiviert – oft nur eine Handvoll von Hunderten möglichen Experten. Der Rest bleibt für dieses Token ungenutzt.

Total vs. aktive Parameter

Diese Architektur führt zu zwei Kennzahlen: die Gesamtzahl aller Parameter (wichtig für den Speicherbedarf) und die Zahl der pro Token tatsächlich aktiven Parameter (wichtig für Rechenaufwand und Geschwindigkeit). Mixtral 8x7B von Mistral AI hat rund 47 Milliarden Parameter insgesamt, aber nur etwa 13 Milliarden davon sind pro Token aktiv.

Warum das ein guter Kompromiss ist

Ein MoE-Modell kann so viel Wissen speichern wie ein sehr großes dichtes Modell, rechnet pro Anfrage aber nur mit dem Aufwand eines viel kleineren Modells. Mixtral erreicht dadurch laut Mistral AI die Qualität eines deutlich größeren Modells bei geringerem Rechenaufwand pro Anfrage.

Aktuelle Beispiele

DeepSeek-V3 nutzt 671 Milliarden Gesamtparameter bei 37 Milliarden aktiven pro Token. Kimi K3 von Moonshot AI, im Juli 2026 veröffentlicht, geht mit rund 2,8 Billionen Gesamtparametern deutlich weiter – laut Hersteller das bislang größte offen verfügbare Modell.

BEISPIEL

Mixtral 8x7B, ein Layer, ein Token: 1. Router bewertet alle 8 Experten für dieses Token 2. Router wählt die Top-2 nach Gewichtung aus 3. Nur diese 2 von 8 Experten rechnen tatsächlich, ihre Ergebnisse werden gewichtet kombiniert → Ergebnis: 13 Mrd. aktive von 47 Mrd. Gesamt-Parametern pro Token.

🎬 ALS KURZES VIDEO

Mixture of Experts: Warum große Modelle nicht alles auf einmal aktivieren

🛠️ ÜBUNG — MACH DAS BEI DIR

Recherchiere für zwei aktuelle MoE-Modelle die Kennzahlen Gesamtparameter und aktive Parameter und ordne sie ein.

Suche die offiziellen Angaben zu Gesamt- und aktiven Parametern für zwei Modelle deiner Wahl, z. B. DeepSeek-V3 und Kimi K3.
Berechne für beide das Verhältnis aktive zu Gesamtparameter.
Überlege, welches der beiden Modelle vermutlich mehr Arbeitsspeicher zum Laden braucht und welches pro Anfrage vermutlich schneller antwortet.

✅ SELBST-CHECK

☐ Konntest du für beide Modelle sowohl die Gesamt- als auch die aktive Parameterzahl finden?
☐ Ist dir klar, warum ein Modell mit riesiger Gesamtparameterzahl trotzdem schnell antworten kann?

KURZ-QUIZ

Was bedeutet es, wenn Kimi K3 rund 2,8 Billionen Gesamtparameter hat, aber wie andere MoE-Modelle nur einen Bruchteil davon pro Token aktiviert?