Fine-Tuning – ein Modell weitertrainieren

Fine-Tuning trainiert ein bereits fertiges Modell mit eigenen Beispielen weiter, um es auf eine Aufgabe oder einen Ton zu spezialisieren.

Was ist Fine-Tuning?

Beim Fine-Tuning wird ein bereits vortrainiertes Sprachmodell mit einem kleineren, eigenen Datensatz weitertrainiert. Anders als beim Prompting verändert das tatsächlich die Gewichte des Modells – das Verhalten passt sich dauerhaft an die Beispiele an, ganz ohne dass du bei jeder Anfrage Anweisungen mitgeben musst.

Wofür Fine-Tuning gut ist

Einen bestimmten Ton oder Stil konsistent treffen (z. B. Markenkommunikation)
Ein festes Ausgabeformat zuverlässig einhalten
Fachjargon oder Aufgabenmuster lernen, die im Prompt zu umständlich zu erklären wären

Wofür Fine-Tuning NICHT gut ist

Fine-Tuning ist schlecht darin, zuverlässig neues Faktenwissen einzubauen – das Modell "lernt" eher Muster und Stil als exakte, abrufbare Fakten. Für aktuelles oder häufig wechselndes Wissen ist RAG meist die bessere und günstigere Wahl, weil du dafür nicht neu trainieren musst.

Praktischer Rahmen

OpenAI bietet eine Fine-Tuning-API für ausgewählte Modelle an. Claude-Modelle lassen sich für Firmenkunden über Amazon Bedrock mittels Model Customization anpassen, statt über eine öffentliche Konsumenten-API. Fine-Tuning braucht außerdem sauber kuratierte Beispieldaten – schlechte oder zu wenige Beispiele führen zu einem schlechteren, nicht besseren Modell.