Caching-Strategien: Prompt Caching & Kontext-Caching

Wiederholte Prompt-Anfänge kosten bei jedem Aufruf erneut Geld und Zeit. Prompt Caching speichert sie zwischen und spart beides.

Das Problem: gleicher Text, wieder und wieder

Ein Agent schickt bei jeder Anfrage oft denselben langen Anfang mit: System-Prompt, Werkzeug-Definitionen, große Dokumente. Ohne Caching berechnet das Modell diesen Teil bei jedem einzelnen Aufruf komplett neu – das kostet Zeit (Latenz) und Geld (Token-Preis), obwohl sich der Text nicht geändert hat.

Wie Prompt Caching funktioniert

Anthropic und OpenAI bieten dafür Prompt Caching an. Der Anbieter merkt sich den Anfang (Präfix) eines Prompts, den du schon einmal geschickt hast. Schickst du kurz danach denselben Anfang erneut – z. B. denselben System-Prompt plus einen neuen User-Turn –, muss das Modell nur den neuen Teil verarbeiten. Der Rest kommt aus dem Cache.

Was es spart

Bei Claude kostet ein Cache-Treffer nur einen Bruchteil des normalen Preises für Input-Tokens, ein Cache-Schreiben ist etwas teurer als normal. Bei OpenAI ist Prompt Caching automatisch aktiv, sobald ein Prompt lang genug ist, und senkt Kosten und Wartezeit spürbar, ganz ohne Codeänderung.

TTL: Der Cache läuft ab

Ein Cache lebt nicht ewig. Bei Claude ist der Standard 5 Minuten; danach ist der Eintrag weg, und der nächste Aufruf schreibt neu in den Cache. Es gibt auch eine längere, teurere Option. Wer viele Anfragen kurz hintereinander schickt, profitiert am meisten von Caching.

BEISPIEL

Ein Agent mit 6.000 Token System-Prompt + Tool-Definitionen macht 10 Anfragen in 3 Minuten. Ohne Caching zahlst du für alle 10 Aufrufe den vollen Preis für diese 6.000 Token. Mit Caching zahlst du das einmal (Schreiben, 1,25x) und die restlichen 9 Mal nur 0,1x – eine deutliche Ersparnis, solange die Anfragen innerhalb der 5-Minuten-TTL bleiben.

🛠️ ÜBUNG — MACH DAS BEI DIR

Finde in einem deiner Agenten-Skripte (oder in der API-Doku deines Modell-Anbieters) heraus, ob und wie Prompt Caching genutzt wird.

Schau dir den System-Prompt / die Tool-Definitionen deines Agenten an: wie viele Tokens hat dieser feste Teil ungefähr?
Prüfe in der API-Antwort (falls du Claude nutzt) die Felder cache_read_input_tokens und cache_creation_input_tokens – wird der Cache getroffen?
Überlege: Bei welchem Nutzungsmuster (viele Anfragen kurz hintereinander vs. einzelne seltene Anfragen) lohnt sich Caching bei dir am meisten?

✅ SELBST-CHECK

☐ Kannst du erklären, warum ein Cache-Treffer günstiger ist als ein Cache-Schreiben?
☐ Weißt du, wie lange ein Standard-Cache bei Claude lebt, bevor er verfällt?
☐ Hast du einen konkreten Teil deines eigenen Prompts identifiziert, der sich für einen Cache-Breakpoint eignen würde?

KURZ-QUIZ

Warum verfällt ein Prompt-Cache-Eintrag von selbst?