In-Context Learning

In-Context Learning (ICL, deutsch: Lernen aus dem Kontext) bezeichnet die Fähigkeit großer Sprachmodelle, eine Aufgabe allein aus Anweisung und Beispielen in der Eingabe (dem Prompt) zu lösen, ohne dass das Modell dafür nachtrainiert wird. Der Begriff wurde 2020 von Brown et al. mit dem GPT-3-Paper geprägt und fasst die Abstufungen Zero-Shot (kein Beispiel), Few-Shot (wenige Beispiele) und Many-Shot (viele Beispiele) unter einem Dach zusammen.

Was ist In-Context Learning?

In-Context Learning beschreibt einen Effekt, der nur innerhalb einer einzelnen Anfrage an das Sprachmodell wirkt. Das Modell bekommt in der Eingabe eine Anweisung (was zu tun ist) und optional eine Handvoll fertig gelöster Beispiele (in der Fachsprache: Demonstrationen). Aus diesen Beispielen liest es das gewünschte Antwort-Muster ab und wendet es auf die neue Eingabe an. Am Modell selbst ändert sich nichts: Die interne Konfiguration (die sogenannten Gewichte, die im Training festgelegt wurden) bleibt unverändert; der Effekt hält nur so lange wie die Anfrage und ist nach der Antwort wieder weg.

Der Begriff geht auf [Brown et al. 2020](https://arxiv.org/abs/2005.14165) zurück. Das GPT-3-Paper trägt den Titel „Language Models are Few-Shot Learners" und zeigte, dass hinreichend große Sprachmodelle bei vielen NLP-Aufgaben konkurrenzfähige Ergebnisse allein aus dem Kontext liefern, ohne den klassischen Trainingsschritt auf einem gelabelten Datensatz. Das Verfahren war vorher als Randbeobachtung bei GPT-2 dokumentiert; GPT-3 machte es zur Standard-Anpassungsstrecke neben Fine-Tuning und prägte den Namen.

Der Ausdruck „Lernen" ist metaphorisch. Das Modell wird nicht persistent besser; es aktiviert innerhalb des Prompts die passenden Muster, die im Pretraining bereits im Gewichts-Raum abgelegt wurden. Nach der Antwort ist der Ausgangszustand wiederhergestellt; das nächste Prompt braucht die Demonstrationen erneut. In-Context Learning tritt zudem als emergente Fähigkeit erst ab einer bestimmten Modellgröße qualitativ auf und bleibt bei kleinen Modellen kaum beobachtbar.

Wie ICL im Attention-Mechanismus tatsächlich abläuft, ist Forschungsgegenstand. [Von Oswald et al. 2023](https://arxiv.org/abs/2212.07677) argumentieren, dass Transformer-Layer beim In-Context Learning einen impliziten Gradient-Descent-Schritt ausführen. [Xie et al. 2022](https://arxiv.org/abs/2111.02080) beschreiben denselben Effekt aus bayesianischer Perspektive als latente Inferenz auf der Aufgabenverteilung des Pretrainings. Ein abschließender Konsens fehlt; für die Anwendungsseite reicht die operative Beschreibung: Muster im Kontext werden übernommen, ohne dass Gewichte geändert werden.

Abgrenzung zu Zero-/Few-Shot, Chain-of-Thought, Fine-Tuning und Context Engineering

In-Context Learning wird häufig mit seinen Ausprägungen oder mit angrenzenden Anpassungsverfahren gleichgesetzt. Die relevanten Trennlinien:

Zero-Shot, Few-Shot und Many-Shot Prompting sind keine Konkurrenten zu ICL; sie sind seine Ausprägungen, gestuft nach Anzahl k der Demonstrationen. Zero-Shot bleibt ICL, weil das Modell die Aufgabe aus Instruktion und Pretraining-Wissen ableitet. Many-Shot Prompting nach [Agarwal et al. 2024](https://arxiv.org/abs/2404.11018) treibt k in den drei- bis vierstelligen Bereich, seit Modelle wie Gemini 1.5 oder Claude Kontextfenster von mehreren hunderttausend Tokens tragen; die Autoren zeigen, dass Many-Shot in einigen Aufgaben mit spezialisiertem Fine-Tuning konkurriert.

Chain-of-Thought ([Wei et al. 2022](https://arxiv.org/abs/2201.11903)) ist eine Spielart von Few-Shot: Das Beispiel-Format wird um den ausgeschriebenen Reasoning-Pfad erweitert. CoT bleibt damit eine Technik innerhalb des ICL-Rahmens und ersetzt ihn nicht.

Fine-Tuning und Continued Pretraining sind die Alternative auf der Modell-Seite. Statt Beispiele in jedes Prompt zu schreiben, wird ein Modell mit Gradient-Updates auf einem gelabelten Datensatz nachtrainiert. Die Anpassung wirkt persistent und kostet keine Kontext-Tokens pro Anfrage; die Einrichtung braucht dagegen Trainings-Infrastruktur, Datenpflege und Evaluations-Loops.

Context Engineering ist die Disziplin, die entscheidet, welche Inhalte im Kontextfenster liegen: Instruktion, Demonstrationen, Retrieval-Kontext aus Vektorsuche, Tool-Ergebnisse, Zwischen-Ergebnisse eines Agenten. ICL ist der Modell-Effekt, den Context Engineering ausnutzt; die beiden Begriffe stehen in unterschiedlichen Ebenen.

Beispiel: Zero-Shot vs. Few-Shot in derselben Aufgabe

Der klarste Illustrations-Fall ist eine Klassifikationsaufgabe, die einmal ohne und einmal mit Demonstrationen gestellt wird. Beide Prompts nutzen denselben Modell-Mechanismus (ICL), nur die Anzahl der Demonstrationen unterscheidet sich.

Zero-Shot-Variante:

Klassifiziere die folgende Kundenbewertung als Positiv oder Negativ.

Text: „Ware ok, Versand langsam."
Label:

Ein Standardmodell antwortet häufig mit einem ganzen Satz („Die Bewertung ist gemischt, tendiert aber zu Negativ, weil …") oder mit uneinheitlichen Labels. Die Instruktion allein steuert das Format kaum.

Few-Shot-Variante:

Text: „Lieferung kam pünktlich, gute Qualität."
Label: Positiv

Text: „Verpackung beschädigt, Reklamation dauert."
Label: Negativ

Text: „Passform stimmt, Farbe wie beschrieben."
Label: Positiv

Text: „Falsches Produkt, keine Rückmeldung."
Label: Negativ

Text: „Ware ok, Versand langsam."
Label:

Dasselbe Modell übernimmt Format und Label-Vokabular aus den vier Demonstrationen und antwortet mit einem einzigen Wort. Der Wechsel von der Zero-Shot- zur Few-Shot-Variante ist eine reine Prompt-Anpassung; verändert wird der Kontext, das Modell bleibt gleich. Genau diese Fähigkeit heißt In-Context Learning.

Bei zehntausenden Bewertungen pro Tag kippt die Rechnung Richtung Fine-Tuning, weil die Demonstrations-Tokens in jedem einzelnen Aufruf mitbezahlt werden. Bei geringeren Volumina oder wechselnden Aufgabenschnitten bleibt ICL der ökonomischere Weg, weil kein Trainings- und Evaluations-Loop nötig ist.