Prompts wie Code versionieren

Ein 'kurz am Prompt drehen' ohne Test ist wie ein ungetesteter Produktions-Commit – der Unterschied fällt oft erst auf, wenn längst etwas kaputt ist.

Prompts sind Code, nicht Konfiguration

Ein Prompt entscheidet über Verhalten genauso wie eine Codezeile – deshalb verdient er dieselbe Sorgfalt: Versionskontrolle in Git, nachvollziehbare Änderungen, und Tests vor jedem Rollout.

In Git versionieren

Prompts gehören ins Repository, nicht in eine lose Textdatei oder ein Chat-Fenster. Jede Änderung wird damit über Commits nachvollziehbar, lässt sich im Diff genau ansehen und bei Bedarf per Revert rückgängig machen.

Vorher/nachher messen

Eine kleine, feste Sammlung von Testfällen mit erwartetem Verhalten zeigt, ob eine Prompt-Änderung tatsächlich verbessert oder heimlich etwas anderes verschlechtert. Ohne diese Referenz bleibt jede Einschätzung reines Bauchgefühl.

Regressionen erkennen und zurückrollen

Läuft die Testsammlung nach einer Änderung schlechter als vorher, ist das ein klares Signal für eine Regression – und dank Versionierung lässt sich der vorherige, funktionierende Stand jederzeit wiederherstellen.

Warum „kurz was drehen" riskant ist

Ein einzelner geänderter Satz kann an anderer Stelle im selben Prompt unerwartet wirken, weil Sprachmodelle den gesamten Kontext gemeinsam verarbeiten. Ohne Test bleibt eine solche Nebenwirkung oft tagelang unbemerkt, bis ein Nutzer sie zufällig auslöst.

BEISPIEL

Vorher-Version (prompts/support-antwort.md, v1.2): 'Antworte höflich und kurz auf die Kundenanfrage.' → Testsammlung: 30/30 Testfälle bestehen erwartetes Format. Nachher-Version (v1.3, ein Satz ergänzt): 'Antworte höflich, kurz und mit einem Vorschlag zur Problemlösung auf die Kundenanfrage.' → Testsammlung erneut laufen lassen: 27/30 bestehen – 3 Testfälle liefern jetzt unerwünscht lange Lösungsvorschläge statt der geforderten Kürze. → Ergebnis: Regression erkannt, v1.3 wird vor dem Rollout nachgeschärft statt direkt live geschaltet.

🛠️ ÜBUNG — MACH DAS BEI DIR

Baue eine kleine Testsammlung für einen eigenen Prompt und prüfe eine Änderung dagegen, bevor du sie übernimmst.

Lege einen bestehenden Prompt als eigene Datei in einem Git-Repository ab, falls noch nicht geschehen.
Schreibe 10 kleine Testfälle mit Eingabe und erwartetem Verhalten (z. B. erwartetes Format oder erwarteter Inhalt).
Lass die aktuelle Prompt-Version gegen alle 10 Testfälle laufen und notiere die Erfolgsquote.
Ändere den Prompt wie geplant, committe die Änderung separat, und lass dieselben 10 Testfälle erneut laufen.
Vergleiche beide Erfolgsquoten, bevor du die Änderung als Standard übernimmst.

✅ SELBST-CHECK

☐ Ist die Erfolgsquote nach der Änderung gesunken, obwohl du das nicht erwartet hattest?
☐ Kannst du die alte Prompt-Version über die Git-Historie in unter einer Minute wiederherstellen?

KURZ-QUIZ

Warum reicht eine reine Bauchgefühl-Einschätzung nicht aus, um zu beurteilen, ob eine Prompt-Änderung tatsächlich eine Verbesserung ist?