Explainable AI

Explainable AI (XAI, deutsch: erklärbare KI) bezeichnet Methoden, mit denen sich die Entscheidungen einer KI für Menschen nachvollziehbar machen lassen. Typische Fragen sind: Welche Eingabemerkmale (etwa Einkommen oder Alter in einem Kreditantrag) haben die Entscheidung wie stark beeinflusst? Was hätte anders sein müssen, damit die KI anders entschieden hätte? Ziel ist, die Blackbox (also ein Modell, dessen innere Logik von außen nicht direkt lesbar ist) so weit zu öffnen, dass eine fachliche, prüfende oder aufsichtsführende Stelle die Entscheidung bewerten kann.

Was ist Explainable AI?

Explainable AI setzt in der Regel post-hoc an, also erst nachdem die KI fertig trainiert ist. Der Begriff wurde ab 2016 durch ein Forschungsprogramm der US-Behörde DARPA (Defense Advanced Research Projects Agency) geprägt und adressiert eine praktische Lücke: Moderne Modelle des maschinellen Lernens (ML), etwa Gradient-Boosting-Bäume (ein Verfahren aus vielen kombinierten Entscheidungsbäumen), tiefe neuronale Netze oder große Sprachmodelle, liefern hohe Genauigkeit, ihre Entscheidungen bleiben ohne Zusatzverfahren aber schwer lesbar. XAI-Methoden erzeugen nachträgliche Erklärungen für einen Adressaten außerhalb des Entwicklungsteams: Fachbereich, interne Revision, externer Prüfer oder eine betroffene Person.

XAI-Erklärungen unterscheiden sich in Skala und Methodenklasse. Globale Erklärungen adressieren das Modell als Ganzes, lokale Erklärungen eine einzelne Vorhersage. Methodisch trennt die Fachwelt zwischen modell-agnostischen Verfahren, die das Modell als Blackbox behandeln (LIME, SHAP, Permutation Importance, Counterfactual Explanations), und modell-spezifischen Verfahren, die die interne Struktur nutzen (TreeSHAP in Gradient-Boosting, Integrated Gradients in neuronalen Netzen).

Die Standard-Techniken decken unterschiedliche Fragen ab. SHAP (Shapley Additive Explanations) verteilt den Beitrag jedes Merkmals nach der spieltheoretischen Shapley-Regel und liefert konsistente, additiv zerlegbare Erklärungen. LIME (Local Interpretable Model-agnostic Explanations) baut um einen konkreten Fall ein lokales, lineares Ersatzmodell. Permutation Importance misst den Modellgüte-Einbruch, wenn ein Merkmal zufällig durchgemischt wird. Counterfactual Explanations beantworten die Frage, was minimal anders sein müsste, damit die Vorhersage kippt.

Für große Sprachmodelle bleibt die Aussagekraft klassischer XAI-Methoden begrenzt. Attention-Visualisierungen sind wissenschaftlich umstritten, Chain-of-Thought-Traces sind zusätzliche Generierungen des Modells und liefern eine Näherung der Argumentation. Erklärbarkeit verlagert sich dort auf die Architektur-Ebene: Retrieval-basierte Antworten mit Quellenverweisen, Tool-Aufrufe mit protokollierten Argumenten, strukturierte Zwischenschritte mit prüfbaren Ausgaben. Regulatorisch verlangt der EU AI Act für Hochrisiko-Systeme (Artikel 13) Transparenz und Interpretierbarkeit; DSGVO Artikel 22 räumt Betroffenen ein Recht auf eine aussagekräftige Erklärung automatisierter Einzelentscheidungen ein; NIST AI RMF verankert Explainability unter „Transparent" und „Accountable"; ISO/IEC TS 6254 liefert die international abgestimmte Terminologie.

Abgrenzung zu Interpretability, Model Risk Management und Responsible AI

Vier Begriffe stehen im Umfeld von Explainable AI und werden im Alltag oft vermischt.

Interpretability adressiert das Modell-Design selbst. Ein lineares Modell oder ein flacher Entscheidungsbaum ist ohne Zusatzverfahren lesbar, weil die Modell-Struktur die Vorhersage direkt erklärt. Explainability adressiert dagegen die nachträgliche Erklärung einer Blackbox-Entscheidung mit einem separaten Verfahren. Verkürzt: Interpretability ist eine Modell-Eigenschaft, Explainability ein Vorgang. Die Grenzen sind fließend; DARPA und NIST verwenden beide Begriffe teils synonym.

Model Risk Management umfasst den Governance-Rahmen aus Modell-Inventar, Validierung, Monitoring, Modellrisiko-Bewertung und Freigabe. XAI ist eines der Werkzeuge in diesem Rahmen und deckt den Aspekt der nachvollziehbaren Vorhersage ab. Responsible AI wiederum ist der normative Überbegriff für Fairness, Transparenz, Rechenschaft, Sicherheit und Datenschutz; Explainability ist eine Säule davon.

Die Grenzen der Methoden gehören zur Definition. XAI-Erklärungen haben approximativen Charakter und liefern korrelative Aussagen. SHAP-Werte hängen an einem Baseline-Fall, LIME-Erklärungen sind lokal instabil, Counterfactuals sind mehrdeutig. Zwei XAI-Methoden können für denselben Fall verschiedene Erklärungen liefern; die Methoden-Wahl ist selbst eine Modellierungs-Entscheidung.

Beispiel: Kreditscoring mit SHAP und RAG-basierte Erklärbarkeit im LLM-Assistenten

Ein Kreditscoring-Modell soll für eine Ablehnung eine nachvollziehbare Begründung liefern. Das produktive Modell ist ein Gradient-Boosting-Baum; über TreeSHAP wird für jeden abgelehnten Antrag berechnet, welche Merkmale den Score in welche Richtung gezogen haben. Die Ausgabe wird auf die Top-Merkmale reduziert und in eine Ablehnungs-Begründung übersetzt (das Modell hat auf hohe Verschuldungsquote, kurzes Anstellungsverhältnis und drei laufende Kreditlinien reagiert). Eine Counterfactual-Berechnung liefert ergänzend die minimalen Änderungen, unter denen der Antrag angenommen worden wäre (etwa eine Verschuldungsquote unter 40 Prozent). Für ein Hochrisiko-System nach EU AI Act dokumentiert diese Kette die Erklärbarkeit im Sinne von Artikel 13; für DSGVO Artikel 22 ist sie Grundlage der aussagekräftigen Erklärung an die betroffene Person.

Ein LLM-basierter Wissensassistent soll die Herkunft seiner Antworten offenlegen. Feature-Attribution auf Token-Ebene bleibt limitiert, weil Attention-Werte das Modell-Innenleben nur eingeschränkt kausal widerspiegeln und Chain-of-Thought-Traces zusätzliche Generierungen des Modells sind. Der praktische Weg führt über eine RAG-Architektur (Retrieval-Augmented Generation), bei der jede Antwort auf abgerufenen Quell-Passagen basiert und diese Passagen im Antwort-Segment referenziert werden. Die Fachprüfung sieht Quelle, Modell-Prompt und generierte Antwort; die Erklärbarkeit entsteht auf Architektur-Ebene und wird über Test-Metriken (Attribution-Rate, Groundedness) messbar.