Transfer Learning

Transfer Learning ist ein Verfahren aus dem maschinellen Lernen: Ein KI-Modell, das für eine erste Aufgabe (die Quellaufgabe) bereits trainiert wurde, dient als Startpunkt für eine verwandte zweite Aufgabe (die Zielaufgabe), statt ein neues Modell komplett von Grund auf zu trainieren. In tiefen neuronalen Netzen (Deep Learning) ist das die Grundlage moderner Foundation Models: ein einmaliges, sehr großes Vortraining auf breiten Datenmengen plus anschließende Anpassung an eine konkrete Anwendung.

Was ist Transfer Learning?

Transfer Learning setzt an einem Modell an, das bereits auf einer ersten Aufgabe (Quellaufgabe) trainiert wurde, und nutzt das dort gelernte Vorwissen als Startpunkt für das Training auf einer verwandten zweiten Aufgabe (Zielaufgabe). Der Grundgedanke: Ein Modell erwirbt beim Lernen der Quellaufgabe allgemeine Muster (bei Bildern etwa Kanten, Formen und Objektteile, bei Sprache Wortbedeutungen, Satzbau und Weltwissen), die für ähnliche Aufgaben wiederverwendbar sind. Der Zieldatensatz (also die Daten für die neue Aufgabe) darf deutlich kleiner sein als der Ausgangs-Datensatz, weil das Modell diese Muster nicht neu lernen, sondern nur noch nachjustieren muss.

Die Motivation ist praktisch: Trainingszeit und Rechenaufwand sinken um Größenordnungen, gelabelte Zieldaten sind knapp und teuer, und die Endqualität übertrifft in aller Regel ein from-scratch-Modell auf demselben kleinen Datensatz. Voraussetzung ist eine hinreichende Verwandtschaft zwischen Quell- und Zielaufgabe: gleiche Modalität, ähnliche Datenverteilung, verwertbare Feature-Ebenen. Bei zu großer Distanz zwischen Quelle und Ziel tritt der gegenteilige Effekt auf (negativer Transfer), das Modell erreicht dann schlechtere Ergebnisse als ohne Vortraining.

Der Begriff selbst wurde in der Machine-Learning-Literatur Ende der 2000er systematisiert; die kanonische Taxonomie stammt von Pan und Yang ([„A Survey on Transfer Learning"](https://ieeexplore.ieee.org/document/5288526), IEEE TKDE 2010). Breite Anwendung fand Transfer Learning zuerst in der Bilderkennung mit dem ImageNet-Vortraining: Modelle wie AlexNet (2012), VGG (2014) und ResNet (2015) wurden auf 1,2 Millionen Bildern trainiert und ihre Feature-Extraktoren anschließend für unzählige nachgelagerte Bildaufgaben wiederverwendet. In der Sprachverarbeitung setzten sich vergleichbare Muster mit ULMFiT (Howard und Ruder 2018) und [BERT](https://arxiv.org/abs/1810.04805) (Devlin et al. 2019) durch. Der Stanford-Bericht [„On the Opportunities and Risks of Foundation Models"](https://arxiv.org/abs/2108.07258) (Bommasani et al. 2021) rahmt Foundation Models als industrialisierte Skalierung genau dieses Prinzips.

Bei Deep-Learning-Modellen unterscheidet man drei gängige Umsetzungstechniken. Feature Extraction friert das Basismodell (den Backbone) vollständig ein und trainiert ausschließlich einen neuen aufgabenspezifischen Kopf; das ist die Standardwahl bei sehr kleinen Zieldatensätzen und dann, wenn das Modell nur als Repräsentations-Lieferant dient. Full Fine-Tuning taut alle Gewichte auf und trainiert sie mit typischerweise kleiner Lernrate weiter; bei ausreichend Daten liefert das die stärkste Anpassung, ist aber rechen- und speicherintensiv. Parameter-Efficient Fine-Tuning (PEFT) hält das Basismodell eingefroren und lernt nur kleine Adapter oder Low-Rank-Matrizen; [LoRA](https://arxiv.org/abs/2106.09685) (Hu et al. 2021) und QLoRA sind für die Anpassung großer Sprachmodelle heute der Standardweg auf begrenzter GPU-Ressource.

Abgrenzung zu Fine-Tuning, Foundation Models und Domain Adaptation

Transfer Learning wird häufig mit seinen konkreten Umsetzungen oder mit Nachbarparadigmen gleichgesetzt. Die relevanten Trennlinien:

[Fine-Tuning](/insights/glossar/fine-tuning/) ist die häufigste Verwechslung. Transfer Learning ist das übergeordnete Prinzip: ein Modell einer Quellaufgabe wiederverwenden. Fine-Tuning ist eine der konkreten Techniken, mit denen dieses Prinzip umgesetzt wird: das Weitertrainieren der vortrainierten Gewichte auf einer gelabelten Zielaufgabe. Feature Extraction, LoRA-Adapter und Full Fine-Tuning sind alle Ausprägungen von Transfer Learning; nur ein Teil davon fällt unter den engeren Begriff Fine-Tuning.

[Foundation Models](/insights/glossar/foundation-models/) sind die konsequente Fortsetzung von Transfer Learning. Der Bommasani-Bericht definiert Foundation Models als selbstüberwacht auf sehr breiten Daten vortrainierte Modelle, die auf viele Downstream-Aufgaben angepasst werden können; das ist genau das Transfer-Muster, hochskaliert. Der Unterschied liegt in der Reichweite: klassisches Transfer Learning zielte auf eine spezifische Zielaufgabe, Foundation Models zielen auf viele.

Domain Adaptation ist eine Untermenge von Transfer Learning. Bei Domain Adaptation bleibt die Aufgabe konstant (Sentiment-Klassifikation, Named Entity Recognition), nur die Datendomäne wechselt (aus Produktrezensionen wird juristisches Deutsch; aus natürlichen Fotos werden medizinische Bilder). Bei Transfer Learning im weiteren Sinne dürfen sich sowohl Aufgabe als auch Domäne unterscheiden. [Continued Pretraining](/insights/glossar/continued-pretraining/) sitzt konzeptionell im gleichen Feld: das Sprachmodell-Vortraining wird auf Domänen-Rohtext fortgeführt, ohne die eigentliche Zielaufgabe zu adressieren; die anschließende Feinabstimmung ist dann klassisches Fine-Tuning.

Multi-Task Learning läuft parallel: mehrere Aufgaben werden gleichzeitig trainiert, das Modell teilt seine Repräsentationen zwischen ihnen. Transfer Learning arbeitet sequentiell: erst wird die Quellaufgabe gelernt, dann die Zielaufgabe daraus abgeleitet. Die beiden Ansätze schließen sich nicht aus und werden in Foundation-Model-Pipelines oft kombiniert.

Beispiel: Bildklassifikation und LLM-Anpassung

Ein typisches Bild-Beispiel: für die visuelle Qualitätsprüfung von Bauteilen liegen 5.000 gelabelte Fotos vor, zu wenig für ein tiefes Netz from scratch. Ein auf ImageNet vortrainiertes ResNet-50 dient als Backbone. Bei Feature Extraction werden dessen Faltungsschichten eingefroren, und nur ein neuer Klassifikationskopf (ein bis zwei Dense-Schichten plus Softmax) wird auf den 5.000 Bildern trainiert. Bei etwas mehr Daten wird zusätzlich die letzte Convolutional-Stufe aufgetaut und mit kleiner Lernrate mittrainiert. Beide Varianten übertreffen ein from-scratch-CNN auf diesem Datensatz um mehrere Prozentpunkte in der Klassifikationsgenauigkeit und laufen in Minuten statt in Tagen.

Ein typisches LLM-Beispiel: ein Foundation Model wie Llama 3 8B soll auf 10.000 domänenspezifischen Support-Tickets für eine Ticket-Kategorisierung angepasst werden. Full Fine-Tuning eines 8B-Modells verlangt mehrere hochwertige GPUs und speichert für jede Anpassung eine vollständige Modellkopie. Mit [LoRA](/insights/glossar/lora-und-peft/) bleibt das Basismodell eingefroren, und für Query- und Value-Projektionen der Attention-Schichten werden Low-Rank-Matrizen im Bereich von einem bis wenigen Prozent der Modellgröße trainiert. Der Lauf passt auf eine einzelne A100-GPU, dauert Stunden statt Tage, und die resultierenden Adapter sind wenige hundert Megabyte groß. Ein einziges Basismodell trägt so mehrere spezialisierte Adapter; das bringt Betriebs- und Speichervorteile gegenüber vollständig ausgetauschten Modellen.

Architektonisch positioniert sich Transfer Learning zwischen einem allgemeinen Vortrainings-Modell und der aufgabenspezifischen Anwendungsschicht. Auf einer Data-Plattform mit integrierter KI-Schicht wie [Mosaic AI Training](/insights/databricks/artificial-intelligence/mosaic-ai-training/) in Databricks laufen Trainingsdaten, Vortrainings-Modelle, Anpassungs-Läufe und Serving auf einer gemeinsamen Infrastruktur: Datensätze liegen als Delta-Tabellen im Lakehouse, das Fine-Tuning oder Continued Pretraining läuft in verwalteten GPU-Clustern, die adaptierten Modelle werden über Model Serving ausgeliefert. Für offene Sprachmodelle im Lakehouse-Kontext ist der Überblick zu [Large Language Models auf Databricks](/insights/databricks/artificial-intelligence/large-language-models/) einschlägig.