Quantisierung: Wie große Modelle auf den eigenen Rechner passen

Ein Modell in geringerer Zahlenpräzision speichern spart massiv Speicherplatz – der Preis ist ein kleiner, oft kaum spürbarer Qualitätsverlust.

Das Grundprinzip

Modellgewichte werden beim Training meist in hoher Präzision gespeichert, oft als 16-Bit-Gleitkommazahl (FP16). Quantisierung reduziert diese Präzision nachträglich, etwa auf 8-Bit (INT8) oder 4-Bit (INT4) – jede einzelne Zahl braucht dann deutlich weniger Speicherplatz, das gesamte Modell schrumpft entsprechend.

Warum das für lokale Modelle entscheidend ist

Ein 7-Milliarden-Parameter-Modell braucht in FP16 etwa 14 GB Arbeitsspeicher – für viele Laptops zu viel. Mit einer gängigen 4-Bit-Quantisierung (Q4_K_M) sinkt derselbe Bedarf auf rund 4,5 GB, wodurch das Modell erst auf normaler Consumer-Hardware praktikabel läuft. Genau deshalb sind quantisierte Modelle die Grundlage für Werkzeuge wie Ollama.

Das GGUF-Format

GGUF ist das gängige Dateiformat für quantisierte Modelle, wie sie Ollama oder llama.cpp verwenden – es bündelt Gewichte und Metadaten (Tokenizer, Konfiguration) in einer einzigen Datei und ist im Namen erkennbar an Kürzeln wie Q4_K_M oder Q8_0.

Der Preis: Qualitätsverlust

Je aggressiver die Quantisierung, desto größer der Genauigkeitsverlust. Bei Q4_K_M liegt der gemessene Qualitätsverlust auf Standard-Benchmarks meist nur bei ein bis drei Prozent – für die meisten Alltagsaufgaben kaum spürbar. Bei noch stärkerer Kompression wird der Verlust dagegen deutlich merkbarer.

BEISPIEL

ollama create --quantize q4_K_M meinmodell # Wandelt ein FP16-Modell in eine 4-Bit-Version um – Speicherbedarf sinkt auf rund ein Drittel, Qualitätsverlust bleibt meist unter 3 %.

🛠️ ÜBUNG — MACH DAS BEI DIR

Lade ein offenes Modell mit Ollama und vergleiche Größe sowie Verhalten bei unterschiedlicher Quantisierung.

Installiere Ollama und lade ein Modell in der Standard-Quantisierung, z. B. ollama run gemma4.
Prüfe die Dateigröße des heruntergeladenen Modells (z. B. über ollama list).
Lade zum Vergleich, falls verfügbar, eine andere Quantisierungsstufe desselben Modells (z. B. ein Tag mit q8_0) und vergleiche Größe und Antwortverhalten bei derselben Frage.

✅ SELBST-CHECK

☐ Wie stark unterschied sich die Dateigröße zwischen den beiden Quantisierungsstufen?
☐ Ist dir bei normalen Fragen ein Qualitätsunterschied überhaupt aufgefallen?

KURZ-QUIZ

Was passiert bei der Quantisierung eines Modells von FP16 auf 4-Bit (z. B. Q4_K_M)?