Zum Inhalt springen

Unified Data Analytics Platform

Unified Data Analytics Platform bündelt Data Engineering, BI, Data Science, ML und Governance in einer Plattform. Definition, Aufbau, Abgrenzung im Überblick.

Eine Unified Data Analytics Platform ist eine Datenplattform, die alle Arbeiten mit Daten in einer gemeinsamen Umgebung bündelt: das Aufbereiten von Daten (Data Engineering), die Auswertung für Berichte und Kennzahlen (Business Intelligence, BI), die Analyse durch Datenwissenschaftler (Data Science), das Trainieren und Betreiben von KI-Modellen (Machine Learning, ML) sowie die zentrale Verwaltung von Zugriffen und Datenqualität (Governance). Alle Rollen greifen auf denselben Datenspeicher, denselben Datenkatalog (das zentrale Verzeichnis aller Tabellen mit Berechtigungen und Herkunft) und dieselbe Rechenleistung (Compute) zu. Der Begriff wurde durch das Unternehmen Databricks geprägt und beschreibt Plattformen, die bislang getrennte Systeme für Berichtswesen (Data Warehouse), Rohdatenablage (Data Lake) und KI-Entwicklung in einer einzigen Plattform zusammenführen.

Was ist eine Unified Data Analytics Platform?

Eine Unified Data Analytics Platform ist ein produktnaher Sammelbegriff für Datenplattformen, in denen sämtliche Arten von Datenauswertungen (analytische Workloads) auf derselben Datenbasis laufen, mit einem gemeinsamen Berechtigungs- und Verzeichnismodell und einer geteilten Rechenschicht (Compute). Das schließt klassische BI-Abfragen für Berichte und Dashboards ebenso ein wie das kontinuierliche Aufbereiten großer Datenmengen (Batch- und Streaming-Data-Engineering), das Vorbereiten von Merkmalen für KI-Modelle (Feature Engineering), das Trainieren und den produktiven Betrieb von Modellen sowie zunehmend Anwendungsfälle für generative KI. Die frühere Trennung zwischen einer Warehouse-Umgebung für Berichte, einer Lake-Umgebung für Rohdaten und einer separaten KI-Plattform mit eigenem Speicher entfällt.

Der Begriff wurde ab etwa 2019 von Databricks als Positionierung eingeführt und ab 2020 durch das Lakehouse-Konzept technisch untermauert. Das Paper „Lakehouse: A New Generation of Open Platforms That Unify Data Warehousing and Advanced Analytics" (Armbrust et al., CIDR 2021) beschreibt die technische Grundlage: ein offenes Tabellenformat (Delta Lake, Apache Iceberg, Apache Hudi) auf Objekt-Speicher, das die Governance- und Transaktionseigenschaften eines Warehouse mit der Format-Offenheit und Skalierung eines Lake verbindet. Die Unified Data Analytics Platform ist die Plattform-Ausprägung dieser Architektur, ergänzt um Katalog, Compute-Engines und Werkzeuge für alle datennutzenden Rollen.

Typische Bausteine sind eine Lakehouse-Speicherschicht (Objekt-Speicher plus offenes Tabellenformat), ein zentraler Katalog für Berechtigungen, Lineage und Datenqualitäts-Signale (z. B. Unity Catalog, AWS Glue Catalog, Apache Polaris), mehrere Compute-Engines für unterschiedliche Workloads (Spark, Photon, SQL-Warehouses, ML-Runtimes) und eine Integrationsebene für BI-Werkzeuge, Notebook-Umgebungen und ML/Model-Serving. Ein zentrales Versprechen ist, dass Data Analysts, Data Engineers, Data Scientists und ML-Engineers auf denselben Tabellen arbeiten, ohne Daten zwischen Systemen zu kopieren.

Abgrenzung zu Data Warehouse, Data Lake, Data Lakehouse und Data Fabric

Der Begriff Unified Data Analytics Platform überschneidet sich mit mehreren verwandten Konzepten, die entweder ein enger gefasstes System oder ein anderes Architekturprinzip beschreiben.

BegriffAchseKernunterschied
Data WarehouseWorkload-UmfangRelationale Analyse-Datenbank mit BI-Fokus und meist proprietärem Speicherformat, ohne nativen ML/AI-Kern. Die Unified Data Analytics Platform integriert Warehouse-Funktion als eine Workload neben Engineering und ML.
Data LakeBetriebsreifeZentraler Rohdatenspeicher mit Schema-on-Read und ohne Transaktions- oder Governance-Schicht. Die Unified Data Analytics Platform baut auf einem Lake auf, ergänzt aber Tabellenformat, Katalog und Compute-Engines.
Data LakehouseArchitekturebeneArchitekturmuster (offene Tabellenformate auf Objekt-Speicher). Die Unified Data Analytics Platform ist die produktseitige Kategorie darüber, in der ein Lakehouse den Speicher stellt und zusätzlich BI-, ML- und Governance-Werkzeuge dazukommen.
Data FabricIntegrations-PhilosophieMetadaten-zentriertes Verbund-Konzept, das bestehende Systeme über eine gemeinsame Metadaten- und Virtualisierungsschicht logisch verknüpft, ohne den Speicher zu konsolidieren. Die Unified Data Analytics Platform vereint Speicher, Compute und Governance dagegen physisch in einer Plattform.
Modern Data StackProdukt-LandschaftVerbund einzelner Best-of-Breed-Werkzeuge (z. B. Snowflake, dbt, Fivetran, Looker) mit klarer Werkzeug-Trennung. Die Unified Data Analytics Platform integriert dieselben Funktionen in einer Systemschicht mit gemeinsamem Katalog.

Die zentrale Abgrenzung verläuft entlang zweier Achsen: Workload-Umfang und Speicher-Konsolidierung. Data Warehouse und Data Lake decken jeweils einen Teil des Workload-Spektrums ab. Data Lakehouse beschreibt die Speicher- und Tabellenschicht, die eine Unified Data Analytics Platform als Fundament nutzt. Data Fabric geht den umgekehrten Weg: Bestehende, verteilte Systeme bleiben stehen und werden über eine Metadatenschicht verbunden.

Zusätzlich ist die Abgrenzung zur konkreten Produkt-Ausprägung wichtig. Databricks Data Intelligence Platform, Microsoft Fabric mit OneLake, Snowflake mit Snowpark und Iceberg Tables, AWS SageMaker Unified Studio auf S3 und Google Cloud BigLake mit Vertex AI sind konkrete Plattformen, die alle das Muster einer Unified Data Analytics Platform bedienen, mit unterschiedlichen Standard-Tabellenformaten, Katalogen und Engine-Präferenzen.

Beispiel: Vier Rollen auf einer Plattform

Ein Industrieunternehmen betreibt eine Unified Data Analytics Platform als zentrale Datenumgebung. Sensor-Daten aus MES und SCADA, Auftragsdaten aus dem ERP und CRM-Interaktionen laufen über Streaming- und Batch-Pipelines als Delta-Tabellen in eine Bronze-Zone im Objekt-Speicher. Data Engineering transformiert die Rohdaten in bereinigte Silver- und aggregierte Gold-Tabellen. BI-Werkzeuge wie Power BI greifen über ein SQL-Warehouse auf die Gold-Ebene zu. Ein Data-Science-Team nutzt dieselben Silver-Tabellen für Feature Engineering und schreibt Modelle über MLflow in ein Model-Registry und ein Model-Serving-Endpoint. Der Katalog verwaltet Berechtigungen, Lineage und Datenqualitäts-Signale plattform-übergreifend.

Alle vier Rollen arbeiten auf denselben Tabellen, mit denselben Berechtigungen und mit derselben Lineage-Sicht. Ohne die Unified Data Analytics Platform würden BI und ML entweder auf zwei separaten Storage-Ebenen laufen, mit einer Kopier-Pipeline zwischen Warehouse und Lake, oder als drei getrennte Systeme mit eigener Governance und eigenem Berechtigungsmodell. Das ist die typische heutige Umsetzung einer Unified Data Analytics Platform: Objekt-Speicher als Fundament, offenes Tabellenformat für Transaktionen, ein zentraler Katalog für Governance und mehrere Engines für Verarbeitung, BI und ML auf derselben Datenbasis.

Unified Data Analytics Platform im eigenen Unternehmen umsetzen?

Wir zeigen, wie sich das in deiner Systemlandschaft konkret abbilden lässt.

Gespräch vereinbaren