Antwortzeit senken: die wirksamsten Stellschrauben für Latenz

Nicht jede Latenz-Bremse kostet gleich viel Geschwindigkeit – Modellwahl, Caching und Streaming wirken unterschiedlich stark und an unterschiedlichen Stellen.

Latenz ist nicht Kosten

Dieses Kapitel dreht sich um die gefühlte und gemessene Antwortzeit – nicht um den Preis pro Anfrage. Beides hängt zusammen, ist aber nicht dasselbe: Ein Modellwechsel kann gleichzeitig günstiger und schneller machen, Streaming dagegen ändert nur das Zeitgefühl, nicht die Kosten.

Die größte Stellschraube: Modellwahl

Ein kleineres, schnelleres Modell wie claude-haiku-4.5 antwortet für viele Alltagsaufgaben spürbar zügiger als ein größeres Modell wie claude-sonnet-5 – oft ist der Unterschied größer als alle anderen Optimierungen zusammen.

Thinking-Budget begrenzen

Bei Reasoning-Modellen frisst ein unbegrenzter interner Denkprozess Zeit, die für einfache Aufgaben nicht nötig ist. Ein enges Thinking-Budget für Routineaufgaben spart spürbar Zeit, ohne die Antwortqualität dort merklich zu verschlechtern.

Prompt-Caching und Streaming

Prompt-Caching überspringt das erneute Verarbeiten wiederkehrender Kontext-Anteile und senkt die Latenz bei langen, wiederholten Prompts um bis zu 85 %. Streaming ändert die tatsächliche Gesamtzeit nicht, macht die Wartezeit für Menschen aber gefühlt deutlich kürzer, weil der Text sichtbar entsteht.

Kurzer Kontext und Parallelisierung

Weniger Input- und Output-Tokens bedeuten weniger Rechenzeit. Wo mehrere unabhängige Anfragen anfallen, spart Parallelisierung Wartezeit gegenüber sequenzieller Abarbeitung.

BEISPIEL

Vier Hebel im Vergleich bei einer typischen Support-Antwort-Aufgabe (Richtwerte): Modellwechsel (claude-sonnet-5 → claude-haiku-4.5): Antwortzeit ca. 60-70 % kürzer Prompt-Caching bei wiederholtem 8.000-Token-Systemprompt: bis zu 85 % kürzere Latenz für den gecachten Anteil Thinking-Budget von 'unbegrenzt' auf 'niedrig' für einfache Anfragen: mehrere Sekunden gespart pro Anfrage Streaming aktivieren: Gesamtzeit unverändert, aber erster sichtbarer Text erscheint sofort statt erst am Ende

🎬 ALS KURZES VIDEO

Antwortzeit senken: die wirksamsten Stellschrauben für Latenz

🛠️ ÜBUNG — MACH DAS BEI DIR

Miss die Antwortzeit derselben Aufgabe unter zwei verschiedenen Latenz-Einstellungen.

Wähle eine feste, mittelschwere Aufgabe (z. B. eine kurze Zusammenfassung eines Textabschnitts).
Stelle sie einmal mit dem größten verfügbaren Modell und einmal mit einem kleineren, schnelleren Modell und stoppe jeweils die Zeit bis zur vollständigen Antwort.
Wiederhole die Aufgabe mit dem größeren Modell, aber aktiviertem Streaming, und miss die Zeit bis zum ersten sichtbaren Text.
Trage alle drei Messwerte nebeneinander.

✅ SELBST-CHECK

☐ Welcher einzelne Hebel hat die Gesamtzeit am stärksten gesenkt?
☐ Hat Streaming die gefühlte Wartezeit verändert, obwohl die Gesamtzeit gleich blieb?

KURZ-QUIZ

Was ändert Streaming an einer Antwort tatsächlich?