Temperature und Sampling: Wie zufällig antwortet ein Modell?

Temperature und Top-p steuern, wie mutig oder vorhersehbar ein Modell beim nächsten Wort wählt – Coding-Tools stellen sie meist niedrig.

Wie ein Modell das nächste Wort wählt

Ein Sprachmodell berechnet für jedes mögliche nächste Wort (genauer: Token) eine Wahrscheinlichkeit. Bei "Die Katze sitzt auf der ..." ist "Matte" wahrscheinlicher als "Wolke". Aus dieser Verteilung wird nicht stur das wahrscheinlichste Wort gewählt – Zufall spielt mit rein, gesteuert über zwei Regler.

Temperature

Temperature verschiebt, wie stark sich wahrscheinliche und unwahrscheinliche Wörter unterscheiden. Niedrige Temperature (nahe 0) macht die Wahl fast deterministisch: fast immer das wahrscheinlichste Wort. Hohe Temperature glättet die Unterschiede ein und lässt auch unwahrscheinlichere, überraschendere Wörter öfter durchkommen.

Top-p (Nucleus Sampling)

Top-p schränkt die Auswahl auf die kleinste Gruppe von Wörtern ein, deren addierte Wahrscheinlichkeit einen Schwellenwert p erreicht (z. B. 0,9) – alles außerhalb dieser Gruppe fällt komplett weg, bevor überhaupt gewürfelt wird.

Warum Coding-Tools niedrig einstellen

Beim Programmieren zählt Korrektheit mehr als Kreativität: Eine Funktion soll syntaktisch richtig und konsistent sein, nicht "originell". Deshalb nutzen Coding-Agenten meist eine niedrige Temperature – weniger Zufallsstreuung, mehr vorhersehbare, saubere Ergebnisse. Für Brainstorming oder Textvarianten ist dagegen eine höhere Temperature oft passender.

BEISPIEL

API-Aufruf mit niedriger Temperature für einen Coding-Agenten: { "model": "claude-sonnet-5", "temperature": 0.2, "messages": [{"role": "user", "content": "Schreibe eine Funktion, die eine Liste sortiert."}] }

🛠️ ÜBUNG — MACH DAS BEI DIR

Probiere denselben Prompt mit unterschiedlicher Temperature aus und vergleiche die Ergebnisse.

Stelle über die API (oder ein Tool, das Temperature einstellen lässt) dieselbe kreative Frage dreimal mit Temperature 0,0-0,2.
Stelle dieselbe Frage dreimal mit Temperature nahe 1,0.
Vergleiche: Wie ähnlich sind sich die drei Antworten bei niedriger Temperature im Vergleich zu den drei bei hoher Temperature?
Wiederhole den Test mit einer Coding-Aufgabe statt einer kreativen Frage – prüfe, ob niedrige Temperature dort konsistentere Ergebnisse liefert.

✅ SELBST-CHECK

☐ Konntest du einen sichtbaren Unterschied zwischen niedriger und hoher Temperature beobachten?
☐ Verstehst du, warum Top-p und Temperature meist nicht gleichzeitig verändert werden sollten?
☐ Kannst du erklären, warum Coding-Agenten typischerweise niedrige Temperature nutzen?

KURZ-QUIZ

Was passiert bei einer sehr niedrigen Temperature (nahe 0)?