Evals – Prompts und Modelle systematisch testen

Evals sind Tests, die messen, wie gut ein Prompt oder Modell eine Aufgabe tatsächlich löst – statt nach Gefühl zu urteilen.

Warum Evals nötig sind

Wenn du einen Prompt änderst und die nächste Antwort besser "wirkt", weißt du damit noch nicht, ob sie wirklich besser ist – oder nur bei diesem einen Beispiel. Ohne systematischen Test bleibt Prompt-Verbesserung Rätselraten. Evals (kurz für "Evaluations") lösen das, indem sie eine Änderung an vielen Beispielen gleichzeitig objektiv prüfen.

Der Grundaufbau

Ein Eval besteht aus einem Testset (mehrere Eingabe-Beispiele, oft mit erwarteter Antwort oder Bewertungskriterien) und einer Methode, die Ausgabe zu bewerten – exakter Abgleich, ein Regel-Check oder ein zweites Modell als "Richter" (LLM-as-judge). Nach jeder Prompt- oder Modelländerung läuft das Testset erneut, und du vergleichst die Ergebnisse vorher/nachher.

Unterschied zu öffentlichen Benchmarks

Benchmarks wie MMLU oder SWE-bench sind fremde, allgemeine Tests. Eigene Evals sind auf deine konkrete Aufgabe zugeschnitten – oft aussagekräftiger für dein Produkt, auch wenn sie kleiner und weniger bekannt sind.

Praktischer Einstieg

Schon 20-30 sorgfältig ausgewählte, realistische Beispiele aus deinem eigenen Use Case liefern brauchbare Signale. Wichtig ist, dass die Testfälle echte Grenzfälle und typische Fehler abdecken, nicht nur einfache Standardfälle.