AI-Governance

AI-Governance ist der Ordnungsrahmen, mit dem ein Unternehmen seine KI-Systeme kontrolliert entwickelt, betreibt und prüft. Sie umfasst vier Bausteine: Prinzipien (Werte wie Fairness und Transparenz), Rollen (wer entscheidet, wer prüft), Prozesse (Freigabe, Betrieb, Rückbau) und technische Kontrollen (etwa Protokollierung und Zugriffsschutz). Ziel ist ein prüfbarer Umgang mit KI über die gesamte Lebensdauer eines Systems, von der ersten Idee bis zur Abschaltung, inklusive der gesetzlichen Pflichten aus der KI-Verordnung der EU (EU AI Act).

Was ist AI-Governance?

AI-Governance ist die Steuerungs-Ebene für KI-Systeme im Unternehmen. Sie sitzt oberhalb der reinen Modell-Technik, also der Werkzeuge, mit denen KI-Modelle trainiert und betrieben werden (im Fachjargon MLOps, kurz für Machine Learning Operations), und übersetzt Werte-Ansprüche und Gesetzespflichten in klare Zuständigkeiten, Abläufe und Nachweise. Der Begriff hat sich ab Mitte der 2010er-Jahre aus der Modell-Risiko-Praxis der US-Banken-Aufsicht entwickelt (Leitlinie SR 11-7 der US-Notenbank) und wurde ab 2023 durch generative KI, den internationalen Management-System-Standard ISO/IEC 42001 und die neue EU-KI-Verordnung (EU AI Act) zum eigenständigen Themenfeld.

Ein tragfähiges Governance-Modell adressiert vier Dimensionen: Werte (Fairness, Transparenz, Erklärbarkeit), Regulierung (EU AI Act, DSGVO, branchenspezifische Vorgaben), Betrieb (Modell-Lifecycle von Training über Freigabe und Produktion bis zum Rückbau) und Organisation (Verantwortungs-Verteilung zwischen Fachbereich, Plattform-Team, Data Governance, Datenschutz, Compliance und interner Revision).

Die operativen Bausteine sind an jeder produktiven KI-Landschaft prüfbar: ein zentrales KI-Inventar mit Risiko-Klassifizierung pro System, ein dokumentierter Freigabe-Prozess, Modell-Dokumentation über Model Cards und Data Sheets, Lineage über Daten und Modelle hinweg, Monitoring auf Drift, Bias und Qualität, Access Control auf Daten- und Modell-Ebene sowie ein durchgängiger Audit-Trail. Regulatorisch flankiert wird der Rahmen durch die [Verordnung (EU) 2024/1689](https://eur-lex.europa.eu/eli/reg/2024/1689/oj/eng), [ISO/IEC 42001:2023](https://www.iso.org/standard/81230.html) und das [NIST AI Risk Management Framework](https://www.nist.gov/itl/ai-risk-management-framework).

Abgrenzung zu Data Governance, MLOps, Responsible AI, Model Risk Management und Agentic-AI-Governance

Fünf verwandte Disziplinen sitzen im gleichen Themenfeld und werden im Markt regelmäßig vermischt. Sie decken unterschiedliche Ebenen ab.

Data Governance regelt Daten. AI-Governance erweitert die Perspektive um Modelle, Prompts, Inferenzen und deren Auditierbarkeit. Beide gelten additiv: Ohne saubere Daten-Governance bleibt AI-Governance lückenhaft, weil Trainings- und Retrieval-Daten weder klassifiziert noch mit Lineage nachverfolgt sind.

MLOps automatisiert den Modell-Lifecycle. AI-Governance definiert die Steuerungslogik darüber: welche Freigaben MLOps durchsetzen muss, welche Nachweise produziert werden und wer sie prüft. Ein reifes MLOps-Setup ist die Voraussetzung für Governance in einer produktiven KI-Landschaft, ersetzt sie aber nicht.

Responsible AI beschreibt Werte und Prinzipien; AI-Governance operationalisiert sie in Prozessen und Kontrollen mit prüfbarem Ergebnis. Model Risk Management stammt aus der Banken-Aufsicht und deckt quantitative Modell-Validierung ab. AI-Governance erweitert MRM um GenAI-spezifische Achsen wie Halluzinations-Rate, Prompt-Injection, Copyright und die Downstream-Provider-Pflichten aus dem AI Act. Agentic-AI-Governance ist eine Spezialisierung für autonome KI-Agenten mit Tool-Aufrufen und persistentem Speicher und sitzt innerhalb der AI-Governance.

Beispiel: Drei produktive GenAI-Assistenten unter Governance

Ein DACH-Konzern betreibt drei GenAI-Assistenten produktiv: einen HR-Assistenten mit Zugriff auf Personalakten, einen Support-Assistenten auf Ticket-Daten und einen internen Wissensassistenten auf technischer Dokumentation. AI-Governance zeigt sich in konkreten Artefakten und Rollen.

Ein zentrales KI-Inventar listet die drei Systeme mit Risiko-Klasse nach AI Act, Owner, verwendeten Modellen und Datenquellen. Der HR-Assistent gilt als Hochrisiko-System nach Annex III Nr. 4 (Beschäftigung) mit vollem Pflichtenkatalog ab August 2027, der Support-Assistent fällt ab August 2026 unter die Transparenzpflicht nach Artikel 50, der Wissensassistent gilt als Minimalrisiko. Jeder Assistent hat eine Model Card, eine Data Sheet zur Trainings- oder Retrieval-Datenbasis und einen dokumentierten Freigabe-Pfad mit Datenschutz-, Compliance- und Sicherheits-Review.

Der LLM-Zugang läuft über einen zentralen Gateway mit Logging, Rate-Limits und PII-Filter. Für den HR-Assistenten kommen eine Grundrechte-Folgenabschätzung (FRIA) nach Artikel 27 AI Act, menschliche Aufsicht bei automatisierten Entscheidungen und eine erweiterte Aufbewahrungsfrist für Interaktions-Logs dazu. Die Verantwortung ist verteilt: Model Owner beim Fachbereich, MLOps-Team für Betrieb, Data Governance für Zugriffsrechte und Lineage, Datenschutz und Compliance als Prüfrollen im Freigabe-Prozess.