Hallucination

Als Hallucination wird eine KI-Antwort bezeichnet, die plausibel und selbstsicher klingt, aber faktisch falsch oder nicht durch die bereitgestellte Quelle gedeckt ist. Sie entsteht, wenn ein Sprachmodell (etwa ChatGPT oder Claude) eine Wissenslücke mit einer erfundenen Antwort füllt, statt „ich weiß es nicht" zu sagen. Auslöser sind lückenhafte Trainingsdaten, zu wenig Kontext in der Nutzer-Frage (Prompt) oder das Fehlen einer geprüften Quelle.

Was ist Hallucination?

Der Begriff hat sich ab 2018 im Feld der maschinellen Sprachverarbeitung (englisch Natural Language Processing, NLP) etabliert, zunächst bei automatischer Übersetzung und Text-Zusammenfassung. Mit dem Durchbruch großer Sprachmodelle (Large Language Models, LLM) ab 2022, bekanntestes Beispiel ChatGPT, wurde „hallucination" zum Standard-Begriff für sachlich falsche oder unbelegte Modell-Antworten. Die deutschsprachige Wikipedia führt „Konfabulation" (das Erfinden von Details ohne bewusste Täuschung) als alternativen Begriff; er ist präziser, weil das Modell nicht im menschlichen Sinne lügt, hat sich in der Fach-Debatte aber nicht durchgesetzt.

Mechanisch prognostizieren Large Language Models das jeweils wahrscheinlichste nächste Token auf Basis ihrer Trainingsverteilung. Wenn die Trainingsdaten Lücken haben, der Prompt-Kontext fehlt oder die Frage außerhalb der Retrieval-Grundlage liegt, füllt das Modell die Lücke mit plausibel klingendem, aber unbelegtem Text. Ein internes „Ich weiß es nicht"-Signal wird dabei nicht automatisch ausgelöst. [OpenAI argumentiert in einer Analyse von 09/2025](https://openai.com/index/why-language-models-hallucinate/), dass Trainings- und Evaluations-Anreize das Verhalten verstärken: Modelle werden dafür belohnt, immer eine Antwort zu liefern, und dafür bestraft, „ich weiß es nicht" zu sagen.

Die Referenz-Taxonomie stammt aus dem [Survey von Huang et al. 2023 (ArXiv 2311.05232)](https://arxiv.org/abs/2311.05232) und arbeitet mit zwei Achsen. Intrinsisch vs. extrinsisch: eine intrinsische Halluzination widerspricht dem gegebenen Input oder Kontext, etwa eine Zusammenfassung, die dem Quelltext widerspricht. Eine extrinsische Halluzination führt Fakten ein, die nicht im Input stehen und sich nicht ohne externe Prüfung verifizieren lassen. Faithfulness vs. Factuality: Faithfulness misst die Treue des Outputs zur bereitgestellten Quelle (relevant bei RAG-Antworten und Zusammenfassungen). Factuality misst die Übereinstimmung des Outputs mit der Welt (relevant bei offenen Wissens-Fragen ohne Retrieval-Grundlage). Ein RAG-Output kann faithful sein, obwohl er factually falsch ist, wenn die Quelle bereits einen Fehler enthält.

Typische Halluzinations-Klassen in LLM-Ausgaben sind erfundene Zitate und Referenzen bei juristischen oder wissenschaftlichen Prompts, falsche Datums- und Zahlen-Werte bei numerischen Fragen, halluzinierte APIs oder Bibliotheks-Funktionen bei Code-Generierung, falsche Tool-Argumente in Agent-Aufrufen sowie unbelegte Namens- und Titel-Attributionen. Zur Detektion verwendet die Forschung mehrere Ansätze. [Farquhar et al. 2024 (Nature 630)](https://www.nature.com/articles/s41586-024-07421-0) beschreiben Semantic Entropy: Das Verfahren misst die semantische Streuung mehrerer Modell-Antworten auf dieselbe Frage und markiert Ausgaben mit hoher Unsicherheit als Halluzinations-Kandidaten. Klassische Verfahren sind Self-Consistency (mehrere Samples und Mehrheits-Voting), LLM-as-a-Judge mit Referenz-Antwort und faktische Verifikation gegen eine Knowledge Base. Mitigations-Ansätze auf Systemebene sind Retrieval-Augmented Generation als Grounding, Chain-of-Thought für Multi-Hop-Fragen, Constrained Decoding und Guardrail-Klassifizierer auf Antworten; die operative Tiefe steckt im [Cluster zu Halluzinations-Mitigation](/insights/agentic-ai/security/hallucination-mitigation/).

Regulatorisch verlangt der EU AI Act für Hochrisiko-KI dokumentierte Prüfungen zur Genauigkeit und Robustheit (Artikel 15, Anhang III); für General-Purpose-AI-Modelle mit systemischem Risiko fordert Artikel 55 systemische Risiko-Bewertungen, unter die Halluzinations-Verhalten als Verlässlichkeits-Aspekt fällt.

Abgrenzung zu Bias, Konfabulation, Reasoning-Fehler und Prompt Injection

Vier Begriffe werden im Alltag oft gleichgesetzt, obwohl sie unterschiedliche Fehler-Mechaniken beschreiben.

Bias und Hallucination sind beides KI-Fehlerklassen, die Mechanik ist verschieden. Ein Modell kann bias-frei nach einer Metrik sein und trotzdem halluzinieren; ein Modell kann faithful antworten und trotzdem systematisch für bestimmte Gruppen schlechtere Ergebnisse liefern. Konfabulation wird in der akademischen Literatur als präziserer Ausdruck geführt, weil das Modell im Unterschied zur menschlichen Halluzination keine Wahrnehmung reproduziert, sondern fehlende Fakten generativ ergänzt. Der Begriff bleibt akademisch. Reasoning-Fehler betreffen die Herleitung: Das Modell rechnet falsch oder wendet einen logischen Schritt falsch an, während die zugrunde liegenden Fakten korrekt sein können. Chain-of-Thought-Prompting adressiert primär Reasoning-Fehler und wirkt sekundär auf Halluzinationen bei Multi-Hop-Fragen.

Der Unterschied zu einem Cutoff-Fehler ist subtil. Wenn das Modell einen Fakt aus dem Trainingsstand korrekt reproduziert, der zum Antwortzeitpunkt veraltet ist, hat es streng genommen nicht halluziniert. Die Ausgabe entspricht dem gelernten Wissen, aber die Welt hat sich verändert. RAG-Grounding hebt beide Effekte auf, die Ursache-Zuordnung bleibt trotzdem relevant für die Fehler-Analyse. Prompt Injection wiederum ist ein Sicherheits-Fehlerbild: Die falsche Ausgabe entsteht durch einen manipulierten Input eines Angreifers. Halluzination entsteht ohne Angriff aus dem Modell selbst.

Beispiel: Rechts-Assistent und RAG-Support-Agent

Ein Rechts-Assistent auf LLM-Basis wird gefragt, wie ein BGH-Urteil vom 14. März 2019 zur Prospekthaftung ausgegangen ist. Das Modell kennt die BGH-Struktur, typische Aktenzeichen-Formate und ähnliche Urteile aus dem Trainingsstand, hat aber keine Grundlage für genau dieses Urteil. Es generiert ein plausibles Aktenzeichen, ein passendes Datum und eine formal korrekt klingende Zusammenfassung: vollständig erfunden. Das ist eine extrinsische Halluzination und eine Factuality-Verletzung. Sichtbar wird der Fehler erst, wenn das Aktenzeichen in juris nachgeschlagen und nicht gefunden wird.

Ein RAG-basierter Support-Agent hat als Retrieval-Grundlage eine Produkt-Dokumentation, in der Feature X mit „ab Version 3.2" beschrieben ist. Die Nutzer-Frage lautet: „Ist Feature X in Version 3.1 verfügbar?" Der Agent soll die Quelle treu wiedergeben, generiert aber: „Ja, Feature X ist ab Version 3.0 verfügbar." Das ist eine intrinsische Halluzination: Der Output widerspricht der Retrieval-Quelle, obwohl die Quelle korrekt bereitgestellt wurde. Faithfulness ist verletzt, obwohl die Factuality-Aussage grundsätzlich mit der Realität abgleichbar wäre. Eine Agent-Evaluation-Suite misst beide Achsen getrennt, weil unterschiedliche Ursachen (Kontext-Missachtung vs. Weltwissen-Konflikt) unterschiedliche Mitigations-Strategien erfordern.