Few-Shot Prompting: Definition, Abgrenzung, Beispiel

Few-Shot Prompting ist eine Technik, bei der eine KI-Sprachanwendung (etwa ChatGPT oder Claude) in der Eingabe wenige gelöste Beispiele vorgesetzt bekommt und daraus das gewünschte Muster für Eingabe und Antwort ableitet, ohne dass die Anwendung selbst nachtrainiert wird. Der Begriff wurde 2020 von Brown et al. mit dem GPT-3-Paper „Language Models are Few-Shot Learners" eingeführt und steht als eigenständiger Weg neben dem klassischen Nachtrainieren (Fine-Tuning) einer KI.

Was ist Few-Shot Prompting?

Few-Shot Prompting stellt der KI vor der eigentlichen Frage eine kurze Reihe fertig gelöster Beispiele (Demonstrationen) bereit. Jedes Beispiel besteht aus einer Eingabe und der gewünschten Antwort im gewollten Format. Die KI erkennt darin ein Muster und wendet es auf die neue Eingabe an. Die Anzahl der Beispiele wird mit dem Buchstaben k bezeichnet; übliche Werte liegen zwischen einem und dreißig, abhängig davon, wie viel Text die KI in einer Eingabe aufnehmen kann (Kontextfenster) und wie schwierig die Aufgabe ist.

Der Begriff geht auf [Brown et al. 2020](https://arxiv.org/abs/2005.14165) zurück. Das GPT-3-Paper zeigte, dass hinreichend große Sprachmodelle bei vielen NLP-Aufgaben mit wenigen Beispielen im Prompt konkurrenzfähige Ergebnisse erreichen, ohne dass die Gewichte per Fine-Tuning aktualisiert werden müssen. Damit etablierte sich Few-Shot Prompting als eigenständige Alternative zur klassischen Anpassungsstrecke aus überwachtem Training auf einem gelabelten Datensatz.

Die Beispiele leben ausschließlich im Kontextfenster der Anfrage. Nach der Antwort ist das Modell wieder im Ausgangszustand, das nächste Prompt braucht die Demonstrationen erneut. Das Verfahren wirkt pro Anfrage und verändert nichts am Modell selbst; der Preis sind Tokens im Prompt und eine gewisse Sensitivität gegenüber Auswahl und Reihenfolge der Beispiele. [Lu et al. 2022](https://arxiv.org/abs/2104.08786) zeigten, dass allein die Permutation derselben Beispiele die Leistung eines Modells zwischen Zufallsniveau und State-of-the-Art bewegen kann.

Abgrenzung zu Zero-Shot, Chain-of-Thought, Fine-Tuning und In-Context Learning

Der Begriff wird häufig mit angrenzenden Prompting- und Anpassungstechniken vermischt. Die relevanten Trennlinien:

Verfahren	Beispiele im Prompt	Gewichtsänderung	Kernunterschied
Zero-Shot Prompting	k = 0, nur Instruktion	nein	kein Muster im Kontext, Modell schließt aus der Instruktion
Few-Shot Prompting	k Demonstrationen (Eingabe + Ausgabe)	nein	Muster-Übernahme aus Demonstrationen
Chain-of-Thought (CoT)	k Demonstrationen mit ausgeschriebenem Reasoning-Pfad	nein	Beispiel-Format enthält zusätzlich Zwischenschritte
Fine-Tuning	keine, Beispiele in den Trainingsdaten	ja (Gewichte werden aktualisiert)	wirkt persistent, unabhängig vom Prompt
In-Context Learning (ICL)	Oberbegriff für Zero-/Few-Shot	nein	Sammelbegriff, keine eigenständige Technik

In-Context Learning ist der Oberbegriff, unter den sowohl Zero-Shot als auch Few-Shot fallen. Few-Shot ist die praktische Ausprägung von ICL mit k > 0 Beispielen. Der Begriff Few-Shot Learning stammt ursprünglich aus dem Meta-Learning und beschreibt dort Trainingsverfahren mit wenigen Beispielen; im Prompting-Kontext bezeichnet er ausschließlich die Beispielsequenz im Prompt, ohne Gewichtsänderung.

Chain-of-Thought Prompting ([Wei et al. 2022](https://arxiv.org/abs/2201.11903)) ist eine Spielart von Few-Shot: Das Beispiel-Format wird um den ausgeschriebenen Reasoning-Pfad erweitert, sodass das Modell in seiner Antwort ebenfalls Zwischenschritte produziert. Reines Few-Shot enthält nur Eingabe und Endantwort ohne Rechenweg.

Fine-Tuning ist die Alternative auf der Modell-Seite. Statt in jedem Prompt Beispiele mitzuschicken, wird ein Modell auf einem gelabelten Datensatz mit Gradient-Updates trainiert. Ab einer Größenordnung von tausenden bis zehntausenden Beispielen und bei stabiler Aufgaben-Definition ist Fine-Tuning günstiger als Few-Shot Prompting, weil die Beispiele nicht mehr in jedem Prompt Token-Budget kosten.

Beispiel: Klassifikation mit vier Demonstrationen

Ein typisches Beispiel ist die Sentiment-Klassifikation auf kurzen Kundenrückmeldungen. Zero-Shot mit einer Instruktion wie „Klassifiziere die folgende Bewertung als Positiv oder Negativ" produziert bei vielen Modellen ausformulierte Sätze, uneinheitliche Labels oder Erklärungen statt eines sauberen Ein-Wort-Labels.

Mit vier Few-Shot-Beispielen sieht der Prompt so aus:

Text: „Lieferung kam pünktlich, gute Qualität."
Label: Positiv

Text: „Verpackung beschädigt, Reklamation dauert."
Label: Negativ

Text: „Passform stimmt, Farbe wie beschrieben."
Label: Positiv

Text: „Falsches Produkt, keine Rückmeldung."
Label: Negativ

Text: „Ware ok, Versand langsam."
Label:

Das Modell übernimmt Format und Label-Vokabular aus den Demonstrationen und antwortet mit einem einzigen Wort. Die Anzahl der Beispiele pro Klasse ist ausgeglichen (zwei Positiv, zwei Negativ), damit keine Label-Verteilungsverzerrung entsteht. Bei zehntausenden Bewertungen pro Tag kippt die Rechnung Richtung Fine-Tuning, weil die Beispiel-Tokens in jedem einzelnen Aufruf mitgezahlt werden und die Token-Kosten linear mit dem Volumen skalieren.