Data Annotation: Definition, Verfahren und Abgrenzung

Data Annotation bezeichnet das Versehen von Rohdaten (unbearbeitete Bilder, Texte, Audio-Aufnahmen oder Sensor-Messwerte) mit Labels (kurze, maschinenlesbare Etiketten wie „Katze", „Spam" oder „Rechnungsproblem"). Diese Labels sind die Antwort, die eine KI beim Training kennen muss, um an neuen Beispielen dieselbe Zuordnung selbst zu lernen.

Was ist Data Annotation?

Überwachtes Lernen (englisch Supervised Learning, die häufigste Trainingsform für KI-Modelle) braucht Paare aus Eingabe und richtiger Antwort: ein Bild plus die Kategorie „Katze", eine E-Mail plus das Etikett „Spam", eine Kunden-Anfrage plus die Klasse „Rechnungsproblem". Rohdaten (unbearbeitete Bilder, Texte, Audio-Aufnahmen) sind in Unternehmen reichlich vorhanden, fertig etikettierte Trainingsdaten sind es nicht. Data Annotation schließt diese Lücke: Menschen (oder ein vorgeschaltetes Modell) hängen an jedes Beispiel die passende Information an. Der Begriff ist inhaltlich weitgehend deckungsgleich mit „Data Labeling"; ein Teil der Literatur trennt beide feiner (Labeling für einfache Etiketten, Annotation für strukturierte Markierungen wie Rahmen um Bildobjekte oder markierte Textstellen), der Sprachgebrauch ist aber nicht einheitlich.

Was annotiert wird, hängt vom Datentyp und der Modellaufgabe ab. Bei Bildern reicht das Spektrum von einfachen Klassen-Tags über Bounding Boxes für Objekterkennung bis zu pixelgenauen Segmentierungs-Masken. Bei Text werden Klassen (Topic, Sentiment, Intent), Named Entities (Personen, Organisationen, Beträge) oder Relationen zwischen Entitäten markiert. Bei Audio sind Transkripte, Sprecher-Wechsel und Ereignis-Zeitstempel typisch. Für Zeitreihen werden Events (Sensor-Anomalie, Systemausfall) mit Zeitfenstern versehen. Für Sprachmodelle rangieren Annotatoren zusätzlich Modell-Antworten paarweise nach Qualität; dieses Präferenz-Signal speist RLHF-Verfahren.

Die Qualität der Annotation entscheidet über die spätere Modellgüte. Verbreitete Kennzahlen sind das Inter-Annotator Agreement in Form von Cohen's Kappa (zwei Annotatoren) oder Fleiss' Kappa (mehrere Annotatoren); Werte unter 0,60 gelten als schwache Übereinstimmung, ab 0,80 als solide. Etablierte Verfahren zur Qualitätssicherung sind Gold-Standard-Beispiele mit bekannter korrekter Antwort, Doppel-Annotation kritischer Klassen mit anschließender Konfliktauflösung, ausführliche Annotator-Guidelines und Kalibrierungs-Runden, in denen Randfälle diskutiert werden. Werkzeuge wie CVAT, Labelbox, Prodigy, doccano oder Snorkel unterstützen den Prozess; in Lakehouse-Architekturen landen Labels versioniert in Delta-Tabellen und werden über Feature-Store-Objekte für Trainings-Runs reproduzierbar referenziert.

Abgrenzung: Data Labeling, Active Learning, RLHF, Synthetic Data

Vier Begriffe werden im Umfeld regelmäßig verwechselt, obwohl sie unterschiedliche Fragen adressieren.

Begriff	Verhältnis zu Data Annotation	Kernunterschied
Data Labeling	Synonym in weiten Teilen der Praxis	Manche Autoren nutzen „Labeling" für einfache Klassen-Tags, „Annotation" für strukturierte Markierungen (Boxes, Spans, Relationen); der Unterschied ist konventionell.
Active Learning	Auswahl-Strategie darüber	Bestimmt, welche Beispiele der Annotator als Nächstes labeln soll (Uncertainty Sampling, Query-by-Committee). Ersetzt Annotation nicht, macht sie effizienter.
RLHF	Spezialisierte Form für LLMs	Menschen ranken Modell-Antworten paarweise oder bewerten deren Qualität; das erzeugt Präferenz-Signale und trainiert ein Reward-Modell für die spätere Fine-Tuning-Phase.
Synthetic Data / Weak Supervision	Teil-Ersatz	Programmatische Regeln, Simulationen oder generative Modelle erzeugen Labels ohne menschliche Annotation. Skaliert Volumen, deckt Randfälle aber selten so verlässlich ab wie manuelle Annotation.

Die Trennung ist wichtig, weil sich die Betriebs-Ökonomie unterscheidet: Active Learning verändert die Reihenfolge des Annotierens und kann das Label-Budget um Faktor zwei bis vier senken; RLHF ist ein eigener Trainingsschritt für generative Modelle mit spezialisierten Annotator-Skills; Synthetic Data verlagert einen Teil der Kosten von der Annotation in die Regel-Entwicklung und Validierung.

Beispiel: annotierter Bilddatensatz für einen medizinischen Klassifikator

Ein Krankenhaus-IT-Team trainiert ein Modell zur Vorerkennung verdächtiger Regionen in Röntgen-Thorax-Aufnahmen. 50.000 anonymisierte Bilder liegen im Objektspeicher, aber ohne strukturierte Labels sind sie für Supervised Learning wertlos. Radiologinnen ziehen im Annotations-Werkzeug Bounding Boxes um auffällige Areale und weisen jeder Box eine Kategorie aus einem vorab abgestimmten Katalog zu (etwa „Rundherd", „Erguss", „unauffällig"). Jedes Bild wird von zwei Radiologinnen unabhängig annotiert; bei Abweichungen entscheidet eine dritte Person. Cohen's Kappa über die Doppel-Annotation liegt bei 0,84, was für den klinischen Kontext als tragfähig gilt.

Labels und Bilder landen versioniert in einer Delta-Tabelle mit den Feldern Bild-ID, Annotator-ID, Zeitstempel, Bounding-Box-Koordinaten, Klasse und Konfidenz. Das Feature-Store-Objekt für das Trainings-Modell referenziert eine konkrete Label-Version, damit spätere Runs reproduzierbar bleiben. Nach dem produktiven Rollout beobachtet ein Monitoring-Layer die Modell-Konfidenz auf neuen Aufnahmen; unsichere Vorhersagen werden zurück in die Annotations-Queue gespeist und schließen den Kreis zwischen laufendem Betrieb und weiterem Training.