Wissensdestillation: ein kleines Modell lernt von einem großen

Ein riesiges Lehrer-Modell gibt sein Wissen an ein viel kleineres Schüler-Modell weiter – deshalb sind heutige kompakte Modelle oft überraschend gut.

Das Grundprinzip

Bei der Wissensdestillation (Knowledge Distillation) trainiert ein großes, bereits fertiges „Lehrer"-Modell ein kleineres „Schüler"-Modell mit. Der Schüler lernt dabei nicht nur aus den richtigen Antworten, sondern aus den vollständigen Wahrscheinlichkeits-Verteilungen des Lehrers über alle möglichen Antworten – diese enthalten mehr Information als ein einzelnes „richtig/falsch"-Label.

Warum das funktioniert

Ein großes Modell drückt in seinen Wahrscheinlichkeiten aus, wie sicher oder unsicher es sich bei verschiedenen Antworten ist und welche Alternativen es für plausibel hält. Diese feineren Signale geben dem kleinen Modell mehr zum Lernen als reine Fakten allein.

Warum kleine Modelle heute so gut sind

Viele schnelle, günstige Modelle sind Destillate größerer Geschwistermodelle: Sie übernehmen einen erheblichen Teil der Fähigkeiten bei einem Bruchteil der Rechenkosten und Antwortzeit. Das erklärt, warum ein kompaktes Modell wie claude-fable-5 auf vielen Alltagsaufgaben fast so gut wirkt wie ein deutlich größeres Modell.

Was dabei verloren geht

Destillation komprimiert – und Kompression hat einen Preis. Seltene Randfälle und Robustheit gegenüber ungewöhnlichen Eingaben leiden meist zuerst. Ein Schüler-Modell wirkt im Alltag oft ebenbürtig, versagt aber häufiger genau dort, wo der Lehrer noch tragfähig gewesen wäre.

BEISPIEL

Praxisbeispiel: gpt-5.6 als Lehrer, ein kompaktes Schüler-Modell mit 3 Milliarden Parametern als Ziel. Trainings-Ziel für den Schüler bei der Frage 'Ist dieser Satz grammatikalisch korrekt?': Hartes Label: 'Ja' (1.0) / 'Nein' (0.0) Weiches Lehrer-Signal (Beispiel): Ja: 0.82, Nein: 0.15, 'Fast richtig': 0.03 Der Schüler lernt aus der weichen Verteilung, dass der Satz vermutlich korrekt, aber nicht eindeutig ist – eine Nuance, die im harten Label komplett verloren ginge.

🛠️ ÜBUNG — MACH DAS BEI DIR

Vergleiche ein großes und ein kleines Modell auf einer Randfall-Aufgabe, um den typischen Robustheits-Unterschied nach Destillation zu beobachten.

Formuliere eine ungewöhnliche, mehrdeutige Aufgabe, die im Training selten vorkommt (z. B. ein Wortspiel mit doppelter Verneinung übersetzen).
Stelle dieselbe Aufgabe einem großen Modell (z. B. gpt-5.6 oder claude-sonnet-5) und einem kleinen, schnellen Modell (z. B. claude-fable-5).
Vergleiche beide Antworten auf Korrektheit bei diesem Randfall.
Stelle danach eine alltägliche, häufige Aufgabe und vergleiche erneut.

✅ SELBST-CHECK

☐ War der Unterschied zwischen großem und kleinem Modell beim Randfall größer als bei der Alltagsaufgabe?
☐ Kannst du erklären, warum gerade seltene Fälle für ein destilliertes Modell schwerer sind?

KURZ-QUIZ

Was lernt das Schüler-Modell bei der klassischen Wissensdestillation zusätzlich zu den korrekten Antworten?