Interpretability

Interpretability bezeichnet die Eigenschaft eines KI-Modells, in seinem inneren Aufbau für Menschen lesbar zu sein, also nachvollziehbar zu machen, wie das Modell zu seiner Antwort kommt. Das gelingt entweder von Natur aus, weil die Bauform einfach ist (etwa ein Entscheidungsbaum, der Schritt für Schritt Ja/Nein-Fragen stellt), oder über spezielle Verfahren, die das Innenleben komplexer neuronaler Netze (dicht vernetzter Rechenmodelle wie ChatGPT oder Claude) sichtbar machen. Interpretability zielt auf das Modell selbst, nicht auf die nachträgliche Erklärung einer einzelnen Ausgabe.

Was ist Interpretability?

Der Begriff kommt aus der klassischen Statistik. Bei einfachen Modellen war Interpretability immer selbstverständlich: Ein Entscheidungsbaum (eine Kaskade aus Ja/Nein-Regeln) oder eine lineare Formel zeigt direkt, welche Eingabe wie stark ins Ergebnis fließt. Mit dem Aufstieg tiefer neuronaler Netze, also KI-Modelle mit vielen übereinandergestapelten Rechenschichten wie in Bilderkennung oder ChatGPT, ging diese Direktheit verloren; das Modell rechnet in einer für Menschen unlesbaren Zahlensprache. Ab 2015 zeigte die Forschungsgruppe um Chris Olah, wie sich einzelne „Neuronen" (kleinste Recheneinheiten des Modells) in Bilderkennungs-Netzen lesbar machen lassen. Ab 2021 baute Anthropic diesen Ansatz für Sprachmodelle (LLMs, Large Language Models) zur Mechanistic Interpretability aus, dem Versuch, die interne Rechenmechanik großer KI-Modelle Schritt für Schritt zu rekonstruieren.

Interpretability wird in zwei Lesarten verwendet. Die intrinsische Lesart beschreibt Modelle, die von Natur aus lesbar sind, weil die Struktur die Vorhersage direkt erklärt: lineare Modelle, generalisierte additive Modelle (GAMs), flache Entscheidungsbäume, Regelmengen. Die mechanistische Lesart adressiert Deep-Learning-Modelle und LLMs. Ziel dort ist, interne Neuronen, Attention-Heads, Circuits und Feature-Richtungen so weit reverse-zu-engineeren, dass die vom Modell durchgeführte Berechnung beschreibbar wird. Der Fokus liegt auf der Modell-Struktur; die einzelne Vorhersage steht im Hintergrund.

Die Standard-Ansätze in der mechanistischen Interpretability umfassen mehrere Techniken. Feature Visualization identifiziert Eingaben, die ein Neuron maximal aktivieren (Bilder in CNNs, Token-Muster in Transformern). Circuit Analysis beschreibt, welche Neuronen und Attention-Heads für eine bestimmte Aufgabe zusammenspielen; ein bekanntes Beispiel ist der Indirect-Object-Identification-Circuit in GPT-2 Small (Wang et al. 2022). Probing trainiert lineare Klassifikatoren auf die versteckten Zustände, um zu prüfen, ob eine bestimmte Information intern repräsentiert ist. Activation Patching und Causal Tracing spielen Aktivierungen aus einem Referenz-Lauf in einen zweiten Lauf ein und testen kausal, welche Komponente eine Aussage trägt (Meng et al. 2022, ROME). Sparse Autoencoders (SAE) entkoppeln überlagerte Feature-Repräsentationen (Superposition) in eine grössere Menge einzelner, interpretierbarer Features (Anthropic 2024).

Regulatorisch nennt der EU AI Act (Artikel 13) für Hochrisiko-Systeme Transparenz und die Interpretierbarkeit der Ergebnisse. Das NIST AI Risk Management Framework führt „Explainable and Interpretable" als zusammengehörige Merkmalsklasse. In der Sicherheitsforschung ist Interpretability ein Baustein der Alignment-Agenda: Frontier-Labore wie Anthropic, OpenAI, DeepMind und Redwood Research untersuchen mit Interpretability-Methoden Deception-, Sycophancy- und Refusal-Muster, um steuerbare Interventionen (Activation Steering, Representation Engineering) vorzubereiten.

Abgrenzung zu Explainable AI, Bias und Chain-of-Thought

Interpretability wird im Alltag mit mehreren Nachbarbegriffen vermischt. Die folgende Übersicht sortiert die vier wichtigsten Abgrenzungen.

Explainable AI (XAI) und Interpretability überschneiden sich stark und werden von DARPA und NIST teils synonym verwendet. In der Fach-Community setzt sich eine differenzierte Nutzung durch: XAI adressiert die post-hoc Erklärung einer einzelnen Modell-Vorhersage (SHAP, LIME, Counterfactuals) und richtet sich an Fachbereich, Prüfer oder Betroffene. Interpretability adressiert die Struktur des Modells und die Frage, welche Berechnung es intern durchführt; Adressaten sind Forscher, Modellprüfer und Sicherheitsteams. Verkürzt ist Interpretability eine Modell-Eigenschaft, Explainability ein Vorgang.

Bias in AI benennt ein Fehlerbild, keine Prüfmethode. Interpretability liefert die Methode, mit der sich der Sitz eines Bias im Modell-Innenleben nachweisen lässt, etwa welche Feature-Richtung eine Verzerrung trägt. Chain-of-Thought (CoT) wiederum ist eine zusätzliche Modell-Ausgabe und beschreibt den internen Rechenweg nur oberflächlich. Anthropic-Studien zeigen Diskrepanzen zwischen der vom Modell generierten CoT-Ausgabe und den tatsächlich genutzten Circuits; CoT ist damit ein Verhaltens-Signal, aber kein Interpretability-Nachweis.

Die Grenzen der Methoden gehören zur Definition. Mechanistic Interpretability skaliert bisher schlecht auf Frontier-LLMs mit hunderten Milliarden Parametern. Superposition und Polysemantizität erschweren die eindeutige Zuordnung zwischen einem Neuron und einem Konzept. Sparse Autoencoders liefern Kandidaten-Features auf Hypothesen-Niveau. Die Aussagekraft von Probing-Klassifikatoren hängt an der Datenwahl. Interpretability-Befunde sind zum aktuellen Forschungsstand hypothesen-generierend; eine flächendeckende, betriebsfeste Kontroll-Ebene ist Stand 2026 nicht etabliert.

Beispiel: Anthropic Golden-Gate-Feature und Bias-Diagnose im Kunden-Assistenten

Anthropic veröffentlicht 2024 im Paper „Scaling Monosemanticity" Sparse-Autoencoder-Features für Claude 3 Sonnet. Ein identifiziertes Feature aktiviert konsistent auf Konzepte rund um die Golden Gate Bridge: passende Textstellen, Bildbeschreibungen, Reise-Kontexte. Über Activation Steering wird das Feature künstlich verstärkt; das Modell antwortet daraufhin selbst auf unverwandte Fragen mit Bezug zur Brücke. Der Fall demonstriert, dass mechanistische Interpretability kausal in das Modellverhalten eingreifen kann. Für Governance-Zwecke liegt der Wert im Nachweis, dass Konzepte wie Deception, Sykophanz oder geschützte Merkmale interne Repräsentationen haben, die sich adressieren lassen.

Ein Governance-Team einer Bank prüft ein RAG-basiertes Kunden-Assistenten-Modell auf verdeckte Bias-Muster. Klassische XAI-Attribution auf Prompt-Tokens liefert keine belastbare Antwort, weil Attention-Werte in der Fachwelt umstritten sind. Der Interpretability-Pfad: Probing-Klassifikatoren werden auf die versteckten Zustände des Modells trainiert, um zu prüfen, ob Signale zu geschützten Merkmalen (Alter, Geschlecht, Herkunft) in bestimmten Layern intern repräsentiert sind und mit welchen Ausgabe-Richtungen sie korrelieren. Die Befunde fließen als Hypothesen in die Fairness-Testreihe ein und ergänzen die statistischen Fairness-Metriken (Demographic Parity, Equalized Odds), ersetzen sie aber nicht.