Continued Pretraining

Continued Pretraining (CPT, auf Deutsch „fortgesetztes Vortraining") bezeichnet das Weitertrainieren eines bereits trainierten Sprachmodells (Foundation-Modell wie GPT oder Llama) auf zusätzlichem Fachtext einer Domäne oder Sprache. Das Trainingsziel bleibt dasselbe wie im ursprünglichen Training: das nächste Wort im Text vorhersagen. Das Modell lernt dabei den Wortschatz und die Sprachmuster der Zieldomäne, ohne das Lösen konkreter Aufgaben zu üben.

Was ist Continued Pretraining?

Continued Pretraining setzt an einem fertig trainierten Sprachmodell (Foundation-Modell) an und führt dessen Grundtraining auf einer neuen, meist deutlich kleineren Textsammlung fort. Das Trainingsziel bleibt dasselbe wie im ursprünglichen Training: Das Modell sieht Text und soll das jeweils nächste Wort (technisch: Token, ein Wort- oder Wortteil-Baustein) vorhersagen. Bei GPT-artigen Modellen heißt das Next-Token-Prediction (Vorhersage des nächsten Bausteins), bei BERT-artigen Modellen Masked Language Modeling (Vorhersage einzelner, absichtlich verdeckter Bausteine). Der Trainingsdatensatz besteht aus reinem Fließtext, ohne markierte Beispiel-Lösungen und ohne Anweisungen. Das Modell liest schlicht Text der Zieldomäne.

Der Effekt ist eine Verschiebung der internen Wahrscheinlichkeitsverteilung zugunsten der Zieldomäne. Fachvokabular, typische Formulierungen, Zitationsmuster und domänenspezifische Zusammenhänge werden in den Modellgewichten verankert. Ein auf juristischen Texten weitergetrainiertes Modell antwortet nicht plötzlich präziser auf Rechtsfragen, weil es die Fragen besser versteht; es antwortet präziser, weil seine Sprachverteilung juristisches Deutsch genauer modelliert.

Der Begriff existiert, weil Foundation-Modelle auf einem breiten, generischen Korpus vortrainiert werden (Web, Bücher, Wikipedia, Code) und in Fachdomänen mit eigener Terminologie, Sprachregister oder seltenen Fachbegriffen an Genauigkeit verlieren. [Gururangan et al. 2020](https://arxiv.org/abs/2004.10964) prägten mit „Don't Stop Pretraining" die Bezeichnungen Domain-Adaptive Pretraining (DAPT) und Task-Adaptive Pretraining (TAPT) und zeigten empirisch, dass fortgesetztes Vortraining auf Domain-Texten die Leistung nachgelagerter Aufgaben deutlich verbessert. Frühe Beispiele wie [BioBERT](https://arxiv.org/abs/1901.08746) für Biomedizin und LegalBERT etablierten das Muster; heute wird es unter anderem für [Code Llama](https://arxiv.org/abs/2308.12950) eingesetzt, das aus Llama 2 durch Continued Pretraining auf einem Code-Korpus entstanden ist.

In der Trainingskette moderner LLMs steht CPT typischerweise zwischen dem allgemeinen Foundation-Pretraining und dem aufgabenspezifischen Fine-Tuning. Ein Domain-CPT-Modell wird anschließend meist per Instruction-Tuning ausgerichtet und optional per Preference-Tuning (RLHF, DPO) auf menschliche Präferenzen abgestimmt.

Abgrenzung zu Fine-Tuning, Instruction-Tuning und RAG

Continued Pretraining wird oft mit anderen Anpassungsverfahren verwechselt. Die relevanten Trennlinien:

Fine-Tuning im engeren Sinn (Supervised Fine-Tuning, SFT) trainiert das Modell auf gelabelten Beispielen für eine konkrete Aufgabe (Klassifikation, Extraktion, Übersetzung). CPT liefert kein Instruction-Following und keine Task-Spezialisierung; ein reines CPT-Modell schreibt Domain-Text weiter, folgt aber keinen Anweisungen. Instruction-Tuning ist ein Sonderfall des SFT mit Prompt-Response-Datensätzen und produziert das aus ChatGPT bekannte Verhalten. Preference-Tuning kommt nach dem Instruction-Tuning und richtet das Modell an menschlichen Präferenzen aus, ersetzt CPT aber nicht.

[Retrieval-Augmented Generation](/insights/glossar/rag/) ist die häufigste Alternative bei der Frage „Wie bekomme ich Fachwissen in ein Sprachmodell?". RAG verändert das Modell nicht, sondern liefert relevante Textstellen aus einer externen Wissensbasis als zusätzlichen Kontext zur Laufzeit. CPT und RAG schließen sich nicht aus. Die typische Arbeitsteilung: CPT verankert Vokabular, Stil und Grundverständnis der Domäne im Modell selbst; RAG liefert die aktuellen, überprüfbaren Fakten. Für sich schnell ändernde Wissensbestände ist RAG das robustere Verfahren; für seltenes Fachvokabular, spezielle Sprachregister oder unterrepräsentierte Sprachen bleibt CPT relevant.

LoRA und andere Parameter-Efficient-Fine-Tuning-Methoden (PEFT) werden häufig gemeinsam mit CPT genannt, gehören aber in der Regel in den Fine-Tuning-Kontext. Continued Pretraining wird typischerweise als Full-Parameter-Training ausgeführt, weil die Anpassung tief in die Repräsentationen greift. LoRA-basiertes CPT existiert, ist aber weniger verbreitet als LoRA-basiertes SFT.

Beispiel: Domain-LLM für juristische Anwendungen

Eine typische CPT-Anwendung beginnt mit der Wahl eines offenen Base-Modells wie Llama 3 8B oder Mistral 7B. Als Trainingskorpus dienen 20 bis 50 Milliarden Tokens deutscher Rechtsprechung, Kommentare und Fachliteratur, kuratiert und dedupliziert. Das Continued Pretraining läuft mehrere Tage bis Wochen auf GPU-Clustern; die Modellgewichte verschieben sich hin zu juristischem Vokabular, Zitationsformen (BGH, EuGH, Randnummern) und Argumentationsmustern.

Nach dem CPT folgt ein Instruction-Tuning mit einigen tausend bis zehntausend juristischen Frage-Antwort-Paaren, damit das Modell auf konkrete Anweisungen reagiert. Optional schließt sich ein Preference-Tuning an, um Halluzinationen zu reduzieren und Antwortstil zu formen. Das Ergebnis ist ein Domain-LLM, das sich in Wortschatz, Stil und Faktentiefe von einer generischen Chat-Modell-Variante unterscheidet.

Architektonisch positioniert sich CPT als Baustein zwischen dem allgemeinen Foundation-Modell und der aufgabenspezifischen Anwendungsschicht. In Produktivsystemen wird das CPT-Modell häufig zusätzlich mit RAG kombiniert: Das Modell beherrscht die juristische Sprache, die Retrieval-Schicht liefert die aktuelle Rechtsprechung. Diese Kombination adressiert die beiden häufigsten Schwachstellen isolierter Lösungen. RAG allein scheitert an Fachjargon und impliziten Domänenkonventionen; reines CPT scheitert an Aktualität und Nachweisbarkeit einzelner Fakten.