Fine-Tuning

Fine-Tuning ist das gezielte Nachtrainieren eines vorhandenen KI-Modells mit einer überschaubaren Menge an Beispiel-Daten (Eingabe plus gewünschte Antwort), damit es eine konkrete Aufgabe zuverlässig löst oder in einem bestimmten Stil antwortet. Dabei werden die internen Parameter des Modells (Gewichte) angepasst, anders als beim Nachschlagen in einer externen Wissensbasis. Fine-Tuning ist die klassische Brücke zwischen einem allgemeinen Basismodell (etwa ChatGPT oder Llama „von der Stange") und einem produktiv einsetzbaren Modell für eine bestimmte Anwendung.

Was ist Fine-Tuning?

Fine-Tuning setzt an einem bereits vortrainierten Sprachmodell (ein Modell, das aus Milliarden Textbausteinen allgemeines Sprachverständnis gelernt hat) an und passt dessen interne Parameter (Gewichte) mit einem kleineren, sorgfältig gelabelten Datensatz (Beispiele mit vorgegebener Zielantwort) an. Das Vortraining vermittelt allgemeines Sprach- und Weltwissen; das Fine-Tuning ergänzt eine spezifische Fähigkeit: eine konkrete Aufgabe (etwa Texte in Kategorien einsortieren, Felder aus Dokumenten herauslesen, übersetzen), ein festes Antwortformat (Anweisungen befolgen wie in einem Chatbot) oder eine Ausrichtung an Präferenzen (hilfreich, sicher, im gewünschten Ton).

Der Datensatz besteht aus gelabelten Beispielen. Bei Supervised Fine-Tuning (SFT) sind das Input-Output-Paare mit einer definierten Zielantwort. Beim Instruction-Tuning sind es Prompt-Response-Paare, die dem Modell zeigen, wie eine Anweisung befolgt aussieht. Beim Preference-Tuning (RLHF, DPO) sind es Präferenz-Tripel aus Prompt, bevorzugter und verworfener Antwort. Die Datenmenge liegt zwischen einigen hundert und einigen hunderttausend Beispielen, also Größenordnungen unter dem Vortrainings-Korpus.

Der Begriff existiert, weil das reine Vortraining ein Sprachmodell hinterlässt, das Text fortschreibt, aber weder Anweisungen zuverlässig befolgt noch für konkrete Anwendungen ausgerichtet ist. Der Ansatz, ein vortrainiertes Modell per Supervised Learning auf nachgelagerte Aufgaben zu adaptieren, wurde mit [GPT-1](https://cdn.openai.com/research-covers/language-unsupervised/language_understanding_paper.pdf) (Radford et al. 2018) etabliert. Instruction-Tuning kam mit [FLAN](https://arxiv.org/abs/2109.01652) (Wei et al. 2022) und [InstructGPT](https://arxiv.org/abs/2203.02155) (Ouyang et al. 2022) breit in Gebrauch und ist heute die Grundlage nahezu aller Instruct- und Chat-Modelle, darunter Llama 3 Instruct, Mistral Instruct und DBRX Instruct.

Nach dem Parameter-Umfang lassen sich zwei Varianten unterscheiden. Full-Parameter-Fine-Tuning aktualisiert alle Gewichte des Modells; das ist rechenintensiv und speicherhungrig, weil neben dem Modell auch Optimizer-Zustände und Gradienten im GPU-Speicher liegen müssen. Parameter-Efficient Fine-Tuning (PEFT) friert das Basismodell ein und trainiert nur einen kleinen Zusatz; bei [LoRA](https://arxiv.org/abs/2106.09685) (Hu et al. 2021) sind das Low-Rank-Matrizen im Bereich weniger Prozent der Modellgröße. QLoRA kombiniert LoRA mit Quantisierung des Basismodells und macht Fine-Tuning großer Modelle auf einzelnen GPUs möglich.

Abgrenzung zu Continued Pretraining, RAG und Prompting

Fine-Tuning wird häufig mit anderen Anpassungsverfahren verwechselt. Die relevanten Trennlinien:

[Continued Pretraining](/insights/glossar/continued-pretraining/) ist die häufigste Verwechslung. Beide Verfahren aktualisieren die Gewichte eines vortrainierten Modells, aber Continued Pretraining ist unsupervidiert und verwendet Rohtext mit dem ursprünglichen Sprachmodell-Loss; Fine-Tuning ist supervidiert und verwendet gelabelte Beispiele mit einem task-spezifischen Loss. Continued Pretraining verschiebt die Sprachverteilung Richtung einer Domäne (juristisches Deutsch, Code, Biomedizin), Fine-Tuning fügt konkretes Aufgabenverhalten hinzu. In der Trainingskette moderner LLMs stehen die beiden Verfahren nacheinander: erst Continued Pretraining zur Domain-Adaption, dann Fine-Tuning zur Aufgabenspezialisierung.

Instruction-Tuning und Preference-Tuning sind Sonderfälle beziehungsweise Nachfolger des klassischen SFT. Instruction-Tuning nutzt Prompt-Response-Paare und erzeugt das aus ChatGPT bekannte Verhalten. Preference-Tuning kommt anschließend und richtet das Modell mit Präferenzpaaren an menschlichen Präferenzen aus, entweder über die klassische RLHF-Pipeline mit Reward-Modell und PPO oder über den direkten Klassifikations-Loss von [Direct Preference Optimization](/insights/glossar/dpo/).

[Retrieval-Augmented Generation](/insights/glossar/rag/) ist die häufigste Alternative bei der Frage, wie Fachwissen in eine Anwendung kommt. RAG verändert das Modell nicht, sondern liefert relevante Textstellen aus einer externen Wissensbasis als zusätzlichen Kontext zur Laufzeit. RAG und Fine-Tuning schließen sich nicht aus. Die typische Arbeitsteilung: Fine-Tuning legt Aufgabenformat, Ton und Struktur der Antwort fest; RAG liefert die aktuellen, überprüfbaren Fakten. Für dynamische Wissensbestände ist RAG das robustere Verfahren; für konsistentes Antwortformat, seltene Aufgaben und niedrige Latenz bleibt Fine-Tuning relevant.

Prompt Engineering und [Few-Shot Prompting](/insights/glossar/few-shot-prompting/) sind gar keine Trainingsverfahren. Verhalten wird zur Laufzeit über die Prompt-Formulierung gesteuert, die Modellgewichte bleiben unverändert. Fine-Tuning wird nötig, wenn Prompting an Grenzen stößt: bei Format-Konsistenz über viele Anfragen, bei seltenen Aufgaben ohne Few-Shot-Muster oder wenn lange Prompts Latenz und Kosten treiben.

Beispiel: Klassifikations-Fine-Tuning mit LoRA

Ein typisches Fine-Tuning-Projekt beginnt mit der Wahl eines offenen Base-Modells wie Llama 3 8B, Mistral 7B oder DBRX Instruct. Als Trainingsdatensatz dienen 5.000 bis 20.000 gelabelte Beispiele: Support-Tickets mit Kategorielabel, Kundenanfragen mit strukturierter Antwort oder Dokumente mit extrahierten Feldern. Der Datensatz ist der eigentliche Wertträger; die Modellwahl ist meist austauschbar, die Datenqualität nicht.

Als PEFT-Variante mit LoRA aktualisiert das Training nur wenige Prozent der Parameter. Ein Fine-Tuning-Lauf auf einer einzelnen A100-GPU dauert für ein 7B-Modell und 10.000 Beispiele typischerweise wenige Stunden. Die resultierenden LoRA-Adapter sind wenige hundert Megabyte groß und lassen sich zur Laufzeit auf das eingefrorene Basismodell laden. Ein einziges Basismodell kann so mehrere spezialisierte Adapter tragen, was Betrieb und Speicher gegenüber vollständig ausgetauschten Modellen entlastet.

Architektonisch positioniert sich Fine-Tuning zwischen dem allgemeinen Foundation-Modell und der aufgabenspezifischen Anwendungsschicht. In Produktivsystemen wird das fine-getunte Modell häufig mit RAG kombiniert: Das Modell beherrscht Aufgabenformat und Ton, die Retrieval-Schicht liefert die aktuellen Fakten aus der eigenen Wissensbasis. Auf einer Data-Plattform mit integrierter KI-Schicht wie in [Databricks Mosaic AI](/insights/databricks/artificial-intelligence/) laufen Fine-Tuning und Serving auf denselben Daten: Trainingsdatensätze liegen im Lakehouse, das Fine-Tuning läuft in verwalteten GPU-Umgebungen, die adaptierten Modelle werden über Model Serving bereitgestellt.