Model Risk Management

Model Risk Management (MRM) ist das Regelwerk, mit dem Banken und Versicherungen die Risiken ihrer Rechenmodelle (Programme, die aus Daten Prognosen oder Entscheidungen ableiten, etwa Kredit-Scoring oder Betrugserkennung) über den gesamten Lebenszyklus prüfen, überwachen und dokumentieren. Der Rahmen stammt aus der US-Bankenaufsicht (Federal Reserve und Office of the Comptroller of the Currency, kurz OCC, veröffentlicht als Leitlinie SR 11-7 im Jahr 2011) und wird zunehmend auf KI- und Machine-Learning-Modelle jenseits klassischer Banken-Kontexte übertragen.

Was ist Model Risk Management?

Der Begriff geht auf die gemeinsame Aufsichtsleitlinie „[SR 11-7 Supervisory Guidance on Model Risk Management](https://www.federalreserve.gov/supervisionreg/srletters/sr1107.htm)" der Federal Reserve und des Office of the Comptroller of the Currency (US-Bankenaufsichtsbehörden) aus dem Jahr 2011 zurück. Sie definierte erstmals „Model Risk" als das Risiko, dass ein fehlerhaftes oder falsch verwendetes Modell zu Verlusten oder Fehlentscheidungen führt, und legte drei tragende Bausteine fest: eine saubere Modell-Entwicklung mit dokumentierten Annahmen und Tests, eine unabhängige Modell-Validierung durch eine zweite Instanz, die die Ergebnisse kritisch hinterfragt (in der Leitlinie „Effective Challenge" genannt), und eine Steuerungsebene mit klaren Rollen, Regeln und einem zentralen Modell-Register (Inventar aller produktiven Modelle).

Die Modell-Definition der Leitlinie ist bewusst weit: „a quantitative method, system, or approach that applies statistical, economic, financial, or mathematical theories, techniques, and assumptions to process input data into quantitative estimates". Diese Definition schließt Machine-Learning- und KI-Modelle explizit ein, weshalb Aufsichtsbehörden wie Fed, OCC, EBA und BaFin MRM als Ausgangsrahmen für KI-Modell-Risiken heranziehen. Auf EU-Ebene ergänzen die EBA-Leitlinien zur internen Governance (EBA/GL/2021/05) und die EZB-Praxis aus dem Targeted Review of Internal Models (TRIM) das Bild; die Bank of England hat mit [SS1/23](https://www.bankofengland.co.uk/prudential-regulation/publication/2023/may/model-risk-management-principles-for-banks-ss) im Mai 2023 Modell-Risiko-Prinzipien für Banken veröffentlicht, die MRM ausdrücklich auf KI und Machine Learning ausdehnen.

Operativ ruht ein reifer MRM-Rahmen auf sechs Bausteinen. Ein zentrales Modell-Inventar erfasst alle produktiven Modelle mit Zweck, Owner, Risiko-Tier, verwendeten Daten und Freigabe-Status. Entwicklungs-Standards schreiben dokumentierte Annahmen, Daten-Qualitäts-Checks, Sensitivitäts- und Stress-Tests sowie Peer-Reviews vor der Freigabe fest. Die unabhängige Modell-Validierung prüft konzeptionelle Fundierung, Daten, Implementierung, Ergebnis-Analyse und laufendes Monitoring; sie sitzt organisatorisch getrennt von der Entwicklung und liefert schriftliche Challenge-Berichte an ein Modell-Komitee. Ein Ongoing-Monitoring beobachtet Backtesting-Ergebnisse, Drift-Indikatoren und Performance-Kennzahlen und definiert Trigger für Rekalibrierung oder Außerbetriebnahme. Governance und Rollen (Model Owner im Fachbereich, Model Developer, unabhängiger Model Validator, Model Risk Officer, Modell-Komitee, Board-Reporting) tragen die Entscheidungen. Eine durchgängige Dokumentation aus Modell-Beschreibung, Validierungs-Berichten, Model-Card-Artefakten und Audit-Trail hält alles nachprüfbar.

Modelle werden im MRM nach materieller Relevanz und Komplexität in Tiers eingestuft (High, Medium, Low bzw. Tier 1 bis 3). Hoch eingestufte Modelle unterliegen strengerer Validierung, kürzeren Review-Zyklen und tieferen Nachweisen; niedrig eingestufte Modelle laufen mit leichteren Kontrollen. Für KI- und ML-Modelle kommen zusätzliche Prüfachsen dazu: Erklärbarkeit, Verzerrungs- und Fair-Metrik-Analyse, Robustheit gegen Adversarial-Inputs, Daten- und Konzept-Drift sowie GenAI-spezifische Risiken wie Halluzinations-Rate, Prompt-Injection und Copyright-Fragen. Die Bank of England SS1/23, OCC-Ergänzungen zu SR 11-7 und die BaFin-Grundsätze zu Big Data und Künstlicher Intelligenz nennen diese Achsen ausdrücklich.

Abgrenzung zu AI Governance, Model Card, EU AI Act und MLOps

Vier Begriffe sitzen im gleichen Themenfeld und werden im Markt regelmäßig vermischt. Sie decken unterschiedliche Ebenen ab.

AI Governance ist der breiter gefasste Nachbar. Sie erweitert MRM um Werte-Ansprüche (Fairness, Transparenz), zusätzliche Regulatorik (AI Act, DSGVO), Betrieb und Organisation über Banken-Kontexte hinaus. MRM ist die quantitative Kern-Disziplin darunter; AI Governance operationalisiert Werte in Prozessen und Kontrollen und ergänzt GenAI-spezifische Achsen. In vielen Instituten läuft AI Governance als Weiterentwicklung des bestehenden MRM-Rahmens für KI-Modelle.

Eine Model Card ist ein Dokumentations-Artefakt: ein standardisiertes Format, das Zweck, Trainingsdaten, Metriken und bekannte Grenzen eines Modells strukturiert festhält. Sie ist ein Baustein einer MRM-Validierungs-Akte, kein Ersatz. MRM ist der Governance-Rahmen; die Model Card ist ein Dokument darin, ergänzt um Validierungs-Bericht, Monitoring-Konzept und Freigabe-Beschluss.

Der EU AI Act ist Rechtsakt, MRM ist Methodik. Der Rechtsakt verlangt für Hochrisiko-Systeme ein Risikomanagement-System (Artikel 9), technische Dokumentation (Artikel 11 und Anhang IV), Post-Market-Monitoring (Artikel 72) und für bestimmte Anwendungen eine Grundrechte-Folgenabschätzung (Artikel 27). MRM liefert die methodischen Muster für diese Pflichten, insbesondere in Banken und Versicherungen mit produktivem MRM-Rahmen. Ein reifer MRM-Rahmen erfüllt viele Anforderungen des AI Act methodisch, ohne die spezifischen Konformitätsbewertungen und Nachweispflichten des Rechtsakts zu ersetzen.

MLOps automatisiert den Modell-Lifecycle mit Training-, Deployment- und Monitoring-Pipelines. MRM definiert die Kontrolle, MLOps führt sie aus: automatisierte Backtests, versionierte Registry, Drift-Alerts, Freigabe-Gates in der Pipeline. Ohne MLOps-Basis bleiben MRM-Kontrollen manuell und selten aktuell; ohne MRM-Rahmen bleibt MLOps blind für Governance-Anforderungen.

Beispiel: Universalbank und Industrieversicherer

Eine internationale Universalbank mit DACH-Sitz betreibt MRM als eigene Zweite-Verteidigungslinie-Funktion. Das Modell-Inventar listet Kredit-Scoring-Modelle, Marktpreisrisiko-Modelle (Value at Risk), Basel-IRB-Modelle, Betrugserkennungs-Modelle und seit 2023 einen produktiven GenAI-Wissensassistenten im Firmenkundengeschäft. Jedes Modell hat eine Tier-Einstufung, einen Owner im Fachbereich, einen Validator in der MRM-Einheit und einen dokumentierten Freigabe-Zyklus. Das Kredit-Scoring-Modell (Tier 1) durchläuft jährliche Validierung mit unabhängigem Backtesting, Fair-Metrik-Analyse pro Untergruppe, Sensitivitäts-Tests und schriftlichem Challenge-Report an das Modell-Komitee. Der GenAI-Assistent wurde in einer neuen AI-Modell-Kategorie klassifiziert (Tier 2) mit spezifischen Kontrollen: Halluzinations-Rate auf domänenspezifischem Testset, Prompt-Injection-Tests, Refusal-Verhalten auf sensiblen Themen, PII-Leak-Audit und laufende Human-in-the-Loop-Freigabe für Ausgaben oberhalb einer Konfidenz-Schwelle.

Ein Industrieversicherer außerhalb der klassischen Banken-Aufsicht übernimmt SR-11-7-Muster für sein Data- und AI-Governance-Setup. Das KI-Inventar liegt in Unity Catalog, Tier-Einstufungen orientieren sich an EU-AI-Act-Kategorien plus interner materieller Relevanz, Validierungs-Berichte je Modell werden im Model Registry mit Lineage verknüpft, und ein quartalsweiser Modell-Komitee-Report läuft an die Geschäftsführung. Der aufsichtsrechtliche Zwang fehlt, die drei MRM-Bausteine Entwicklung, unabhängige Validierung und laufende Kontrolle strukturieren das eigene Governance-Modell trotzdem.