Bias in AI

Bias in AI bezeichnet eine systematische Verzerrung in KI-Systemen: Ein Modell entscheidet für bestimmte Gruppen oder Situationen anders (meist schlechter) als für andere, ohne dass jemand das bewusst so eingestellt hat. Die Ursache liegt in den Trainingsdaten (den Beispielen, aus denen das Modell lernt), in der Auswahl des Modells, in seinem Optimierungsziel oder im späteren Einsatz.

Was ist Bias in AI?

Solche Verzerrungen entstehen an mehreren Stellen im Lebensweg eines KI-Modells. Schon bei der Daten-Sammlung können bestimmte Gruppen zu selten oder zu häufig vorkommen. Wenn Menschen die Trainings-Beispiele beschriften (Label-Vergabe), fließen ihre Vorprägungen mit ein. Bei der Wahl der Merkmale (der Eingabe-Größen, mit denen das Modell rechnet) lassen sich Muster verstärken. Beim Einsatz kann das Modell in einer Umgebung landen, für die es nicht gebaut wurde. Und wenn Modell-Ausgaben später wieder in neue Trainingsdaten fließen (Rückkopplung), verhärtet sich die Verzerrung. Der Begriff Bias hat dabei zwei Bedeutungen: In der Statistik meint er eine systematische Abweichung von einem wahren Wert; in der Fairness-Debatte meint er eine Ungleichbehandlung entlang geschützter Merkmale (Geschlecht, Herkunft, Alter, Behinderung). In der Praxis sind beide Ebenen gemeint.

Klassifikationen unterscheiden mehrere Bias-Typen. Historical Bias beschreibt, dass die Welt in den Trainingsdaten bereits verzerrt ist, unabhängig von der Datenerhebung. Representation Bias entsteht, wenn Untergruppen im Datensatz fehlen. Measurement Bias tritt auf, wenn Merkmale ungenau oder gruppen-unterschiedlich präzise erhoben wurden. Aggregation Bias entsteht, wenn ein Modell für alle Gruppen gilt, obwohl die Gruppen unterschiedliche Zusammenhänge aufweisen. Evaluation Bias liegt vor, wenn das Test-Set die Einsatz-Population nicht spiegelt. Deployment Bias entsteht durch Nutzung außerhalb des ursprünglichen Zwecks. NIST fasst diese Kategorien in Special Publication 1270 als systemische, statistische und human-kognitive Bias-Familien zusammen; ISO/IEC 24027 liefert eine international abgestimmte Terminologie.

Bei LLM- und Agenten-Systemen kommen zusätzliche Muster hinzu. Position-Bias beschreibt, dass Modelle Antworten in bestimmter Reihenfolge bevorzugen. Sycophancy bezeichnet die Tendenz, der impliziten Erwartung des Prompts zuzustimmen statt zu widersprechen. Stereotype-Bias reproduziert statistische Muster aus dem Trainingskorpus als Fakt, etwa geschlechts- oder herkunftsbezogene Zuschreibungen. Proxy-Bias entsteht, wenn ein sensitives Merkmal aus dem Modell entfernt wird, aber über korrelierte Features (Postleitzahl, Berufsgruppe, Sprachstil) implizit wiederkehrt.

Messverfahren sind gruppen-vergleichende Metriken wie Demographic Parity, Equal Opportunity und Equalized Odds, Slice-basierte Evaluation mit getrennter Genauigkeit pro Untergruppe, kontrafaktische Tests mit identischen Eingaben und variiertem sensiblem Merkmal sowie Red-Team-Prompts gegen bekannte Stereotype. Regulatorisch verlangt der EU AI Act für Hochrisiko-Systeme dokumentierte Bias-Bewertungen als Teil des Risk-Management-Systems (Artikel 10, Anhang III); NIST AI RMF verankert Bias unter „Fairness" in der Manage-Funktion; für Kredit-, Personal- und Justiz-Kontexte greifen zusätzlich sektorale Antidiskriminierungs-Gesetze wie das deutsche AGG.

Abgrenzung zu Fairness, Diskriminierung und Hallucination

Vier Begriffe werden im Alltag oft vermischt, obwohl sie unterschiedliche Ebenen adressieren.

Fairness ist der Anspruch, Bias die messbare Abweichung. Ein Modell kann nach einer Fairness-Metrik bias-frei sein und trotzdem als unfair bewertet werden, weil eine andere Metrik andere Ergebnisse liefert und die Metrik-Auswahl selbst eine normative Entscheidung ist. Diskriminierung ist die juristische Bewertung, ob eine erkannte Bias-Ausprägung gegen geltendes Recht verstößt; ohne rechtlichen Rahmen bleibt Bias ein Modell-Problem, keine Rechtsfrage. Hallucination betrifft die Faktentreue des Modells und hat eine andere Mechanik: Der Effekt entsteht aus Modell-Grenzen und Ungenauigkeit, ohne systematische Ungleichbehandlung nach Gruppe. Overfitting wiederum ist ein Generalisierungs-Problem (das Modell lernt die Trainingsdaten zu genau) und beschreibt keine gruppen-spezifische Verzerrung. Data Quality umfasst Vollständigkeit, Konsistenz, Aktualität und Duplikate; Bias ist eine spezielle Klasse innerhalb der Datenqualität.

Beispiel: Kreditscoring und LLM-basierter HR-Assistent

Ein Kreditscoring-Modell wird auf historischen Kreditvergabe-Daten trainiert. In diesen Daten wurden Frauen und Bewerber aus bestimmten Postleitzahlen historisch seltener zu Krediten zugelassen. Das Modell reproduziert dieses Muster als statistische Regel, auch wenn Geschlecht nicht direkt als Feature dient: Beruf, Teilzeit-Status und Postleitzahl korrelieren mit der historisch benachteiligten Gruppe, sodass ein Proxy-Bias entsteht. Ohne Slice-Evaluation und kontrafaktische Tests bleibt der Effekt unsichtbar, weil die Genauigkeit auf dem Gesamt-Testset stabil erscheint. Für ein Hochrisiko-System nach EU AI Act verlangt Anhang III eine dokumentierte Bias-Prüfung genau für solche Konstellationen.

Ein LLM-basierter HR-Assistent, der Bewerbungen zusammenfasst, formuliert bei männlichen Namen häufiger technische Kompetenz-Attribute und bei weiblichen Namen häufiger soziale Attribute. Die Ursache steht nicht im Eingabedokument, sie stammt aus dem Trainingskorpus des Modells (Stereotype-Bias). Sichtbar wird der Effekt erst über kontrafaktische Prompts mit identischem Lebenslauf und variiertem Namen sowie einen Slice-Vergleich der Ausgabe-Merkmale. Guardrails allein blockieren den Effekt nicht, weil das Modell im Rahmen seiner Antwortpolitik bleibt; die Bias-Prüfung gehört in die Modell-Evaluation und in die Regression-Suite bei jedem Modell-Update.