Ein Data Catalog ist das zentrale Verzeichnis aller Daten eines Unternehmens: Tabellen, Dateien und Modelle für Maschinelles Lernen werden erfasst und mit Beschreibung, Zuständigkeit (Ownership), Einstufung (etwa personenbezogen) und Herkunftsspur (Lineage) versehen. So werden Datenbestände auffindbar, verständlich und regelkonform nutzbar, über alle Plattformen und Werkzeuge hinweg.
Was ist ein Data Catalog?
Ein Data Catalog erfasst alle Datenbestände einer Organisation und ergänzt sie um erklärende Informationen (Metadaten). Aus einer verstreuten Landschaft, klassische Datenbanktabellen im Data Warehouse, Rohdaten-Dateien im Data Lake, laufende Datenströme (Streaming-Topics), Berichte aus Business Intelligence (BI) und Modelle für Maschinelles Lernen (ML), entsteht ein durchsuchbares Verzeichnis. Jeder Eintrag hat einen Verantwortlichen (Owner), eine Beschreibung, eine Einstufung (z. B. „enthält Kundendaten") und eine dokumentierte Herkunft. Der Katalog beantwortet zwei Grundfragen: Welche Daten gibt es? Und was bedeuten sie im Geschäftskontext?
Historisch entstanden Kataloge in den 2000er-Jahren als Weiterentwicklung klassischer Metadaten-Repositorien. Die aktuelle Generation ab etwa 2018 firmiert unter „Enterprise Data Catalog" und ergänzt automatisierte Metadaten-Erfassung, ML-gestützte Klassifikation, Lineage-Automation und ein Business-Glossary-Modul. Analystenkategorien liegen bei Forrester („Enterprise Data Catalogs") und Gartner („Metadata Management Solutions").
Typische Bausteine sind Crawler für die Metadaten-Ingestion aus Quellsystemen, ein Search-Layer mit facettierter Suche, ein Business-Glossary-Modul, eine Lineage-Engine für Herkunfts- und Wirkungsketten, ein Tag-System für Klassifikation, ein Access-Modul für Berechtigungen sowie Kollaborationsfunktionen wie Kommentare und Verwendungshinweise. Zusammen bilden sie die Metadaten-Schicht, auf der Governance, Discovery und zunehmend KI-Assistenten aufsetzen.
Der aktuelle Marktrend verlagert die Katalog-Funktion vom eigenständigen Produkt (Collibra, Alation, Informatica EDC, Atlan) hin zur katalog-nativen Plattform-Schicht: Unity Catalog bei Databricks, Data Catalog in SAP Datasphere, Microsoft Purview im Fabric-Umfeld. Der Katalog wird damit zum Fundament der Plattform-Governance und liefert den Metadaten-Kontext, den natürlichsprachige Query-Werkzeuge und KI-Assistenten für belastbare Antworten benötigen.
Abgrenzung zu Business Glossary, Semantics und Metastore
Ein Data Catalog wird häufig mit benachbarten Konzepten vermischt, die entweder einen Teilaspekt oder eine andere Schicht der Datenlandschaft bezeichnen.
| Begriff | Achse | Kernunterschied |
|---|---|---|
| Business Glossary | Umfang | Ein Business Glossary ist ein kontrolliertes Vokabular aus Begriffsdefinitionen mit Ownership. Ein Data Catalog enthält typischerweise ein Business Glossary als Modul und ist darüber hinaus für technische Metadaten, Lineage, Klassifikation und Suche zuständig. |
| Business Semantics | Schicht | Business Semantics ist die Bedeutungs-Schicht mit ausführbaren Kennzahlen-Definitionen, Beziehungen und Regeln (Metric Views, dbt Semantic Layer, Cube.js). Der Katalog inventarisiert und findet, die Semantik-Schicht berechnet und aggregiert. |
| Metastore | Ebene | Ein Metastore (Hive Metastore, Iceberg REST Catalog, Glue Data Catalog) ist eine rein technische Metadaten-Datenbank für die Query-Engine mit Tabellen-Definitionen, Partitionierung und Statistiken. Der Data Catalog nutzt Metastore-Metadaten als Input und ergänzt fachliche Sicht, Lineage, Governance und Discovery. |
| Master Data Management | Zweck | MDM harmonisiert Stammdaten (Kunde, Produkt, Lieferant) zu Golden Records und pflegt einen einheitlichen Datenbestand. Der Katalog beschreibt und findet Daten, MDM konsolidiert sie. |
| Data Dictionary | Reichweite | Ein Data Dictionary ist das klassische Schema-Verzeichnis einer einzelnen Datenbank (Tabellen, Spalten, Datentypen). Der Katalog ist plattform-übergreifend und ergänzt fachliche Metadaten. |
Die zentrale Trennlinie verläuft zwischen Katalog und Semantik-Schicht: Der Katalog beantwortet „Welche Daten gibt es und was bedeuten sie?", die Semantik-Schicht beantwortet „Wie werden sie zu Kennzahlen aggregiert?". Beide Schichten arbeiten zusammen (die Semantik-Schicht liegt heute häufig direkt am Katalog), sind aber inhaltlich getrennt.
Beispiel: Data Catalog in einer heterogenen Landschaft
Ein Handelsunternehmen betreibt Datenbestände in einem Databricks Lakehouse (Vertriebs- und Marketing-Analytik), in SAP S/4HANA (Finance, Auftragsabwicklung) und in Salesforce (CRM). Ohne zentralen Katalog ist die Datenlage fragmentiert: Auffindbarkeit hängt an einzelnen Team-Mitgliedern, Ownership steht in Excel-Listen, Klassifikation personenbezogener Felder ist inkonsistent.
Die Katalog-Schicht inventarisiert die Datenbestände aller drei Quellen, bildet Ownership pro Datenprodukt ab, klassifiziert personenbezogene Felder für die DSGVO-Nachweispflicht und liefert Lineage über die Systemgrenzen hinweg. In der Umsetzung übernimmt Unity Catalog die katalog-native Schicht für die Databricks-Seite, der Data Catalog in SAP Datasphere die S/4HANA-Seite; eine Metastore-Föderation über Iceberg REST Catalog oder Delta Sharing macht die Bestände werkzeug-übergreifend lesbar. Der Katalog ersetzt keine der beteiligten Plattformen, bündelt aber die Metadaten-Sicht für Governance, Auffindbarkeit und KI-Nutzung.
Data Catalog im eigenen Unternehmen umsetzen?
Wir zeigen, wie sich das in deiner Systemlandschaft konkret abbilden lässt.
katalog-native Ausprägung im Databricks Lakehouse
Discovery in Unity CatalogSuch- und Auffindbarkeits-Schicht am Katalog
Lineage in Unity Catalogautomatische Herkunfts- und Wirkungsketten
Business SemanticsBedeutungs-Schicht mit Kennzahlen und Regeln am Katalog
Data ArchitectureGesamtbild der Datenlandschaft, in dem der Katalog verortet ist
Business Data CloudSAP-Datenplattform mit Data Catalog in Datasphere