LoRA und PEFT

LoRA (Low-Rank Adaptation) und PEFT (Parameter-Efficient Fine-Tuning) sind Techniken, um ein bereits trainiertes KI-Sprachmodell (ein sogenanntes Foundation-Modell, also ein großes Basismodell wie GPT oder Llama) auf eine neue Aufgabe zuzuschneiden, ohne das komplette Modell neu zu trainieren. PEFT ist der Oberbegriff für diese Verfahren, LoRA die am häufigsten eingesetzte Variante.

Was ist LoRA und PEFT?

PEFT (Parameter-Efficient Fine-Tuning, also parameter-effizientes Feintuning) fasst alle Trainingsverfahren zusammen, die das eigentliche Modell unverändert lassen (einfrieren) und nur einen kleinen zusätzlichen Baustein anlernen. Ein modernes Sprachmodell besteht aus Milliarden von Stellschrauben (den Parametern oder Gewichten). Statt alle diese Stellschrauben nachzujustieren, verändert PEFT meist weniger als ein Prozent davon. Der trainierbare Zusatz kann eine kleine, sparsame Matrix (eine niedrig-rangige Gewichts-Matrix), eine dünne Zwischenschicht (ein Bottleneck-Layer) oder ein trainierbarer Vorspann-Text (Prompt-Präfix) sein.

LoRA (Low-Rank Adaptation) ist die verbreitetste PEFT-Variante. Das Verfahren injiziert zwei niedrig-rangige Matrizen A und B parallel zu den bestehenden Gewichts-Matrizen der Aufmerksamkeits-Layer. Das effektive Update lautet ΔW = B · A mit Rang r (typische Werte zwischen 8 und 64). Statt Millionen Parameter pro Layer werden nur r · (d_in + d_out) Parameter trainiert. Nach dem Training lassen sich A und B in die Original-Gewichte mergen; zur Inferenzzeit entsteht kein Latenz-Zuschlag gegenüber dem Basismodell.

Der Begriff PEFT existiert, weil Full-Parameter-Fine-Tuning großer Foundation-Modelle für die meisten Anwender wirtschaftlich nicht darstellbar ist. Ein 70B-Modell verlangt für Full-Fine-Tuning mehrere hundert Gigabyte GPU-Speicher, weil neben den Gewichten auch Gradienten und Optimizer-Zustände (bei Adam das Doppelte der Modellgröße) im Speicher liegen müssen. PEFT senkt diesen Bedarf auf einen Bruchteil und macht Fine-Tuning damit auf einzelnen oder wenigen GPUs möglich. LoRA wurde 2021 von [Hu et al.](https://arxiv.org/abs/2106.09685) bei Microsoft Research vorgestellt; frühere Adapter-Verfahren stammen von [Houlsby et al. 2019](https://arxiv.org/abs/1902.00751).

Zur PEFT-Familie gehören neben LoRA weitere Varianten. QLoRA kombiniert LoRA mit einer 4-Bit-Quantisierung des eingefrorenen Basismodells und senkt den Speicherbedarf um weitere rund drei Viertel. DoRA (Weight-Decomposed LoRA) zerlegt das Update in Richtung und Magnitude und erreicht bei gleichem Rang bessere Ergebnisse. Adapter Tuning fügt kleine Bottleneck-Layer zwischen die Transformer-Blöcke ein. Prefix Tuning und Prompt Tuning trainieren ausschließlich Präfix-Vektoren im Aktivierungsraum und lassen die Modellgewichte vollständig unangetastet. IA³ skaliert Aktivierungen mit gelernten Vektoren und arbeitet mit noch weniger Parametern als LoRA.

Abgrenzung: LoRA vs. PEFT vs. Full Fine-Tuning vs. QLoRA

Die Begriffe werden häufig durcheinandergeworfen. Die relevanten Trennlinien:

PEFT ist die Oberklasse, LoRA eine konkrete Methode. Die Begriffe sind nicht synonym; LoRA ohne den PEFT-Rahmen zu nennen, ist präzise, PEFT auf LoRA zu reduzieren, ist es nicht.

LoRA und QLoRA unterscheiden sich in der Speicherform des Basismodells. Bei LoRA bleibt das Basismodell in seiner nativen Präzision (typisch FP16 oder BF16), die Adapter werden in gleicher Präzision trainiert. Bei QLoRA wird das eingefrorene Basismodell in 4-Bit NF4 quantisiert; die LoRA-Adapter bleiben in höherer Präzision. QLoRA senkt den Speicherbedarf drastisch und macht Fine-Tuning eines 70B-Modells auf einer einzelnen A100-80GB möglich, wo Full-Fine-Tuning acht solcher Karten verlangt.

LoRA und Adapter Tuning unterscheiden sich in der Architektur-Position. Adapter fügen sequentielle Bottleneck-Layer zwischen die Transformer-Blöcke ein und erzeugen dadurch einen kleinen Inferenz-Zuschlag. LoRA-Matrizen laufen parallel zu den bestehenden Gewichten und lassen sich nach dem Training in die Original-Matrix mergen, sodass zur Inferenzzeit kein Extra-Aufwand entsteht.

LoRA und Full Fine-Tuning liefern in vielen Aufgabenbereichen vergleichbare Qualität, solange der gewählte Rang r ausreichend hoch ist und die Zielaufgabe nicht tief in die Modell-Repräsentationen greift. Für starke Domain-Shifts oder große Trainingsdatensätze bleibt Full Fine-Tuning die anpassungsstärkere Variante, für die meisten Task-Adaptionen ist LoRA die pragmatische Wahl.

Beispiel: Multi-Tenant-Serving mit LoRA-Adaptern

Ein typisches Einsatzmuster ist das Multi-Tenant-Serving eines Foundation-Modells mit kundenspezifischen Adaptern. Ein 70B-Basismodell wird einmal auf einem Modell-Serving-Cluster gehalten. Pro Kunde oder Aufgabe entsteht ein LoRA-Adapter von wenigen hundert Megabyte, der beim eingehenden Request dynamisch geladen wird. Der Speicher- und Kosten-Hebel gegenüber getrennten Modell-Instanzen pro Kunde ist erheblich; ein einzelnes Serving-Deployment kann dutzende bis hunderte Adapter tragen.

Architektonisch positioniert sich PEFT als die günstige Variante des Fine-Tunings zwischen dem generischen Foundation-Modell und der aufgabenspezifischen Anwendungsschicht. Auf Databricks Mosaic AI stehen LoRA- und QLoRA-Rezepte für offene Basismodelle wie Llama 3 und Mistral bereit; die resultierenden Adapter werden im MLflow-Registry versioniert und über Model Serving zusammen mit dem Basismodell bereitgestellt. Ein QLoRA-Fine-Tuning eines 7B-Modells auf 10.000 gelabelten Beispielen dauert auf einer einzelnen A100 typischerweise wenige Stunden.