Modern Data Warehouse: Was das Zielbild bezeichnet und wann es noch trägt
Die Kernaussagen auf einen Blick.
- Ein Modern Data Warehouse ist eine Referenzarchitektur für analytische Datenplattformen: ein Cloud-Warehouse als Auswertungsschicht, ergänzt um einen Data Lake, ELT-Prozesse, Orchestrierung und einen Semantic Layer.
- Der Begriff beschreibt eine Architektur und nicht ein einzelnes Produkt oder Betriebsmodell und wird häufig mit dem Cloud Data Warehouse gleichgesetzt.
- Die Architektur nutzt weiterhin zwei Speicherorte, zwischen denen Daten übertragen werden, wohingegen eine Lakehouse-Architektur diese Trennung durch eine gemeinsame Datenbasis zu vermeiden versucht.
- Empfehlenswert ist, vor einem Modernisierungsprogramm zu klären, ob mit dem Begriff ein Produkt, ein Betriebsmodell oder eine Architektur gemeint ist, und anschließend zu prüfen, ob eine Architektur mit zwei Speicherorten zu den erwarteten Workloads passt.
Inhaltsverzeichnis
Warum der Begriff in Modernisierungsprogrammen häufig missverständlich ist
In einer Ausschreibung zur Modernisierung der Datenplattform liegen drei unterschiedliche Angebote vor. Alle Angebote verwenden dafür den Begriff Modern Data Warehouse. Das erste beschreibt die Migration auf ein Cloud-Warehouse-Produkt. Das zweite folgt einer Azure-Referenzarchitektur mit Data Lake, Synapse und Power BI. Das dritte Angebot sieht eine grundlegende Neugestaltung der Datenarchitektur und der eingesetzten Werkzeuge vor. Obwohl alle drei Angebote denselben Begriff verwenden, beschreiben sie unterschiedliche Zielbilder und Leistungsumfänge.
Diese uneinheitliche Verwendung des Begriffs ist im Markt weit verbreitet, weil er aus Vendor-Referenzarchitekturen stammt und nie standardisiert wurde. Die Angebote lassen sich erst sinnvoll vergleichen, wenn geklärt ist, was jeweils unter Modern Data Warehouse verstanden wird.
Bezieht sich das Angebot auf ein konkretes Produkt, ein Betriebsmodell oder eine vollständige Architektur? Welche Komponenten sind Teil der Zielarchitektur und welche werden lediglich ergänzend angeboten? Wie verhält sich das Konzept zum Lakehouse, das dieselben Modernisierungs-Ziele adressiert? Passt diese Referenzarchitektur noch zu den heutigen Anforderungen an BI, Data Science, Streaming und KI?
Der Begriff Modern Data Warehouse bezeichnet eine Referenzarchitektur und sollte deshalb getrennt von Produkt- und Betriebsmodell-Fragen bewertet werden. Diese Unterscheidung erleichtert den Vergleich der Angebote und ermöglicht eine eindeutigere Beschreibung der Zielarchitektur.
Was ist ein Modern Data Warehouse?
Ein Modern Data Warehouse (MDWH) ist eine Referenzarchitektur für analytische Datenplattformen: Ein Cloud Data Warehouse dient als zentrale Schicht für Reporting und Business Intelligence, ein Data Lake übernimmt die Speicherung eingehender Rohdaten, und ELT-Prozesse und Orchestrierungswerkzeuge übertragen und verarbeiten die Daten zwischen beiden Systemen. Zur Architektur gehört häufig zusätzlich ein Semantic Layer für einheitliche Kennzahlen und Begriffe sowie Self-Service-Zugänge für Fachbereiche.
Der Begriff wurde vor allem durch Referenzarchitekturen der großen Cloud-Anbieter verbreitet, die ab Mitte der 2010er-Jahre Diagramme für die Warehouse-Modernisierung veröffentlichten. Microsoft beschreibt das Muster im Playbook zum Modern Data Warehouse als Kombination aus Data Lake, Warehouse und Analyse-Diensten; im deutschsprachigen Markt ist der Begriff deshalb eng mit der Azure-Welt verbunden. Parallel entwickelte sich der Modern Data Stack mit modularen Werkzeugen und Transformationen direkt im Cloud Warehouse.
Gegenüber einem klassischen Data Warehouse unterscheidet sich das Zielbild vor allem in vier Punkten:
Mehr Datentypen
Neben strukturierten Daten auch semi- und unstrukturierte Formate.
Batch und Streaming
Verarbeitung sowohl planbarer Ladezyklen als auch kontinuierlicher Datenströme.
ELT im Warehouse
Transformation nach dem Laden, direkt mit der Rechenleistung des Cloud-Warehouse.
Nutzungsabhängige Abrechnung
Speicher und Rechenleistung werden getrennt und nach Verbrauch abgerechnet.
Diese Betriebs- und Abrechnungsmerkmale beschreiben vor allem das Cloud-Betriebsmodell; die Referenzarchitektur ergänzt dieses Betriebsmodell um Speicher, Datenintegration, Transformation und BI.
Die Referenzarchitektur zeigt, welche Komponenten zusätzlich zum eigentlichen Warehouse für eine vollständige analytische Plattform benötigt werden: Speicher, Ladeprozesse, Transformation, Kennzahlen-Schicht und Zugriffswege. Sie beschreibt damit den grundsätzlichen Aufbau einer analytischen Plattform. Die Auswahl der Produkte, die Modellierungsmethode und die organisatorischen Zuständigkeiten müssen jedoch separat festgelegt werden. Wie die offene Architektur-Familie insgesamt aufgebaut ist, zeigen wir im Überblick zum Lakehouse.
Data & AI Beratung mit ruhrdot
Als offizieller Databricks-Partner begleiten wir dich von der Datenstrategie bis zur produktiven KI-Lösung.
Worin unterscheidet sich ein Modern Data Warehouse von einem Cloud Data Warehouse?
Die Begriffe beschreiben unterschiedliche Aspekte einer Datenplattform. Ein Cloud Data Warehouse beschreibt ein verwaltetes Betriebsmodell für ein Warehouse: ein als Dienst betriebenes System mit getrennt skalierbarem Speicher und Rechenleistung. Ein Modern Data Warehouse beschreibt dagegen den Aufbau einer vollständigen analytischen Plattform; das Cloud Warehouse ist innerhalb dieser Architektur lediglich eine von mehreren Komponenten. Damit lassen sich das Warehouse-Modell, das Cloud-Betriebsmodell und die übergreifende Referenzarchitektur voneinander unterscheiden. In Angeboten und Herstellerunterlagen werden diese Ebenen jedoch häufig nicht klar getrennt.
| Begriff | Ebene | Zentrale Frage | Typischer Kontext |
|---|---|---|---|
| Data Warehouse | Architektur-Muster | Wie werden Daten modelliert und verlässlich ausgewertet? | Modellierung, Kennzahlen-Konsistenz, Reporting |
| Cloud Data Warehouse | Betriebsmodell | Wie wird das Warehouse betrieben und skaliert? | Managed Service, nutzungsbasierte Abrechnung |
| Modern Data Warehouse | Referenzarchitektur | Welche Bausteine bilden die analytische Plattform? | Modernisierungs-Programme, Vendor-Diagramme |
| Lakehouse | Architektur | Wie tragen alle Workloads eine gemeinsame Datenbasis? | BI, Data Science und Streaming ohne Datenkopien |
Was das klassische Data Warehouse als Muster leistet und welche Modellierungs-Disziplin dazugehört, führen wir im Überblick zum Data Warehouse aus. Wie sich das Betriebsmodell entwickelt hat und welche Anbieter den Markt prägen, klären wir im Überblick zum Cloud Data Warehouse. Die Unterscheidung ist für die Planung relevant: Wird lediglich das bestehende Warehouse in einen Cloud-Dienst migriert, ändert sich die grundlegende Architektur nicht. Die Entscheidung über die langfristige Plattformarchitektur wird dadurch auf einen späteren Zeitpunkt verschoben.
Welche Bausteine zum Modern Data Warehouse gehören
Eine Modern-Data-Warehouse-Architektur besteht typischerweise aus mehreren wiederkehrenden Komponenten, die sich nach ihrer jeweiligen Funktion unterscheiden lassen. Microsoft dokumentiert die typische Kette in der Referenzarchitektur für Data Warehousing und Analytics; vergleichbare Diagramme existieren bei anderen Cloud-Anbietern.
Der Data Lake dient als zentrale Ablage für eingehende Rohdaten: Quelldaten werden zunächst weitgehend unverändert in einem kostengünstigen Objektspeicher abgelegt. Dazu zählen neben Tabellen aus Quellsystemen auch semi-strukturierte Formate wie JSON- und Log-Dateien sowie unstrukturierte Inhalte wie Dokumente; diese Rohdaten können später für Data Science, Machine Learning und KI genutzt werden. Orchestrierte Datenpipelines (etwa über Azure Data Factory) steuern die Lade- und Verarbeitungsschritte. Die Verarbeitung folgt dem ELT-Prinzip: Daten werden erst geladen und anschließend innerhalb des Warehouse transformiert. Der wesentliche Unterschied zum klassischen ETL liegt im Zeitpunkt der Transformation; die skalierbare Rechenleistung des Cloud Warehouse ermöglicht es, Transformationen direkt nach dem Laden auszuführen. Werkzeuge wie dbt haben diese Art der versionierten SQL-Transformation im Warehouse stark verbreitet.
Ein Semantic Layer stellt oberhalb der Datenschicht einheitliche Kennzahlen und fachliche Definitionen bereit, damit unterschiedliche BI-Werkzeuge mit denselben Begriffen arbeiten. Self-Service-BI ermöglicht Fachbereichen, eigenständig Analysen auf den kuratierten Daten durchzuführen. Governance-Regeln zu Berechtigungen, Nachvollziehbarkeit und Datenqualität müssen im Data Lake und im Warehouse konsistent umgesetzt werden. Dazu gehören rollenbasierte Berechtigungen, Verschlüsselung, Audit-Protokolle und die Umsetzung regulatorischer Anforderungen wie der DSGVO.
Data Lake
Zentrale Ablage für Rohdaten aus Quellsystemen, inklusive semi- und unstrukturierter Formate.
Orchestrierte Pipelines
Steuern Lade- und Verarbeitungsschritte zwischen Data Lake und Warehouse.
ELT-Transformation
Daten werden zuerst geladen, dann direkt im Warehouse transformiert, etwa mit dbt.
Semantic Layer
Einheitliche Kennzahlen und Begriffe für alle BI-Werkzeuge.
Governance
Rollenbasierte Berechtigungen, Audit-Protokolle und regulatorische Anforderungen wie die DSGVO.
dbt Labs beschreibt die Entstehung dieser Arbeitsweise in einem Rückblick auf die Entwicklung des modularen Analytics-Stacks: Ab etwa 2012 machten Cloud-Warehouses wie Amazon Redshift die nachgelagerte Transformation bezahlbar, danach entstand die heutige Tool-Kette. Modern Data Warehouse und Modern Data Stack bezeichnen dabei verwandte Konzepte auf unterschiedlichen Ebenen: Die Referenzarchitektur beschreibt den Aufbau der Plattform, während der Modern Data Stack die darin eingesetzten Werkzeuge bezeichnet.
zwei Speicherorte mit laufendem Datentransfer
Ein wesentlicher Aspekt der Referenzarchitektur wird in Herstellerdiagrammen häufig nur indirekt sichtbar: Die Daten werden sowohl im Data Lake als auch im Warehouse gespeichert. Rohdaten verbleiben im Data Lake, während aufbereitete Daten zusätzlich in das Warehouse geladen werden. Datenpipelines übertragen die relevanten Daten zwischen den beiden Systemen. Bevor Daten im Warehouse ausgewertet werden können, müssen sie aus dem Lake übernommen und entsprechend aufbereitet werden.
Forscher um Michael Armbrust analysieren diese Zwei-Schichten-Struktur im Lakehouse-Paper der CIDR-Konferenz 2021 als das prägende Muster der damaligen Datenarchitekturen: Der Data Lake enthält den vollständigen Rohdatenbestand, während ausgewählte Daten für BI zusätzlich im Warehouse gespeichert werden. Dieses Modell verursacht zusätzliche technische und organisatorische Aufwände: Die Daten werden doppelt gespeichert, die Datenübertragungen müssen entwickelt, überwacht und gewartet werden, die Datenbestände in Lake und Warehouse können unterschiedliche Aktualitätsstände aufweisen, und Berechtigungen, Lineage und Qualitätsregeln müssen in beiden Systemen gepflegt werden. Eine verbindliche Datenbasis (Single Source of Truth) besteht in diesem Modell häufig nur innerhalb des Warehouse, nicht über die gesamte Plattform hinweg.
Wie sich diese Kosten des Parallelbetriebs konkret zusammensetzen und wie die drei Grundmuster im Vergleich abschneiden, zeigen wir im Vergleich Data Warehouse vs. Data Lake vs. Lakehouse. Die Lakehouse-Architektur versucht, diese doppelte Speicherung zu vermeiden: Offene Tabellenformate ergänzen den Objektspeicher um Transaktionen, Schemaregeln und weitere für BI notwendige Funktionen. Dadurch können BI- und Data-Science-Workloads auf einem gemeinsamen Datenbestand arbeiten, und die Warehouse-Funktionen werden als Schicht in der Medallion-Architektur umgesetzt.
Ist das Modern Data Warehouse noch zeitgemäß?
Für überwiegend BI-orientierte Anforderungen kann die Architektur weiterhin sinnvoll sein. Der Begriff wird im Markt jedoch zunehmend seltener verwendet. Unsere Keyword-Analyse für den deutschsprachigen Markt zeigt einen deutlichen Rückgang des Suchvolumens für den Begriff; auch verwandte Warehouse-Begriffe werden seltener gesucht. Gewachsen sind im selben Zeitraum Begriffe wie Semantic Layer und Datenarchitektur. Auch die Positionierung der Anbieter hat sich verändert: Microsoft bündelt mehrere zuvor getrennte Azure-Dienste inzwischen in Microsoft Fabric, dessen Speicher-Konzept auf einer Lakehouse-Struktur basiert, und Azure Synapse wird in diesem Zuge abgelöst. Zusätzlich wird der Begriff inzwischen unterschiedlich verwendet: Einige Anbieter verwenden die Bezeichnung auch für Plattformen mit Lakehouse-Architektur. Je nach Anbieter kann der Begriff deshalb eine klassische Zwei-Speicher-Architektur oder eine Lakehouse-Plattform bezeichnen, was die Unschärfe in Ausschreibungen zusätzlich erhöht.
Für die Architekturentscheidung lassen sich grundsätzlich zwei Szenarien unterscheiden.
Modern Data Warehouse wählen, wenn
- Reporting und BI stehen im Mittelpunkt
- Ladezyklen sind planbar
- Ein eingespieltes Warehouse-Team betreibt die Plattform
- Keine konkreten Anforderungen an Data Science, Streaming oder KI auf derselben Datenbasis bestehen
Lakehouse wählen, wenn
- Mehrere Workload-Typen auf dieselben Daten zugreifen sollen
- Die doppelte Speicherung bereits zu unterschiedlichen Datenständen führt
- Offene Tabellenformate eine langfristige Architekturvorgabe sind
Beide Architekturen sollen Betrieb und Analyse modernisieren, unterscheiden sich jedoch grundlegend im Umgang mit der Datenspeicherung.
Was das Modern Data Warehouse nicht beantwortet
Die Referenzarchitektur beschreibt die wesentlichen Komponenten und ihre technische Verbindung. Wichtige fachliche, technische und organisatorische Entscheidungen werden dadurch jedoch nicht vorgegeben.
- Wie Daten modelliert werden und welche Disziplin verlässliche Kennzahlen erfordert, führen wir im Überblick zum Data Warehouse aus.
- Welches Betriebsmodell und welcher Anbieter zum eigenen Betrieb passen, klären wir im Überblick zum Cloud Data Warehouse.
- Wie die drei Grundmuster im direkten Vergleich abschneiden und welches Workload-Profil zu welcher Architektur führt, zeigen wir im Vergleich Data Warehouse vs. Data Lake vs. Lakehouse.
- Wie der Umstieg von einer bestehenden Warehouse-Landschaft auf ein Lakehouse geplant wird, beschreiben wir im Leitfaden zur Migration vom Data Warehouse zum Lakehouse.
Für ein Modernisierungsprogramm sollten drei Entscheidungen nacheinander getroffen werden: Zunächst sollte die Architektur festgelegt werden (Referenzarchitektur oder Lakehouse), anschließend das Betriebsmodell und erst danach die konkrete Produktauswahl.
Grenzen
Die Referenzarchitektur bietet einen etablierten Ausgangspunkt für die Modernisierung eines Warehouse. Einige für die Umsetzung wichtige Fragen bleiben jedoch offen. Diese Punkte sollten vor Beginn des Programms festgelegt werden.
Keine einheitliche Definition
Hersteller und Beratungen verwenden die Bezeichnung für unterschiedliche technische und organisatorische Zielbilder: von der reinen Produktmigration bis zur vollständigen Neugestaltung. Bei Angeboten sollte deshalb geprüft werden, welche Komponenten tatsächlich enthalten sind.
Ersetzt keine Datenmodellierung
Verbindliche Kennzahlen entstehen durch Modellierungsarbeit und klare Definitionen. Diese Disziplin muss in jedem Zielbild geleistet werden, unabhängig von der gewählten Architektur.
Zwei Speicherorte kosten dauerhaft
Die Datenübertragung zwischen Lake und Warehouse erfordert Pipeline-Pflege, Monitoring und doppelte Governance während des gesamten Plattformbetriebs.
Streaming und KI nicht zentral vorgesehen
Die Architektur ist für planbare Ladezyklen und strukturiertes Reporting entworfen. Echtzeitverarbeitung und KI auf unstrukturierten Daten benötigen häufig zusätzliche Komponenten.
Organisatorische Verantwortung offen
Ob Daten zentral oder nach Domänen verantwortet werden (etwa im Data-Mesh-Modell), legt die Referenzarchitektur nicht fest. Zuständigkeiten müssen separat geregelt werden.
Trotz dieser Grenzen eignet sich das Konzept als gemeinsame Grundlage für die Beschreibung einer analytischen Plattform: Es benennt die Bausteine vollständig und macht deutlich, dass eine Modernisierung mehr umfasst als den Austausch eines einzelnen Produkts. Als gemeinsamer Planungsbegriff ist es hilfreich, sofern eindeutig definiert wird, was darunter verstanden wird.
Bei neuen Programmen sollten mehrere mögliche Zielarchitekturen geprüft werden: Die Referenzarchitektur von Mitte der 2010er-Jahre ist eine von zwei Antworten, und die Entscheidung zwischen einer Architektur mit getrenntem Lake und Warehouse und einer gemeinsamen Datenbasis sollte zu Beginn des Programms getroffen werden.
Fazit
Das Modern Data Warehouse bleibt eine geeignete Referenzarchitektur für überwiegend BI-orientierte Plattformen, insbesondere wenn ein bestehendes Warehouse-Team die Plattform betreibt.
Ein Vorteil des Modells ist, dass es die wesentlichen Komponenten einer analytischen Plattform gemeinsam betrachtet: Neben dem Warehouse berücksichtigt es auch Rohdatenspeicher, Datenintegration, Transformation und Semantic Layer. Dadurch lassen sich Modernisierungsvorhaben strukturiert planen.
Gleichzeitig weist die Architektur klare Einschränkungen auf. Data Lake und Warehouse bleiben getrennte Systeme, zwischen denen dauerhaft Daten übertragen werden müssen, Streaming- und KI-Workloads erfordern häufig ergänzende Komponenten, und im Markt wird der Begriff zunehmend durch Lakehouse-orientierte Bezeichnungen abgelöst oder neu interpretiert. Neue Modernisierungsprogramme sollten sowohl die klassische Zwei-Speicher-Architektur als auch eine Lakehouse-Architektur bewerten; die Auswahl sollte sich an den geplanten Workloads und Datenanforderungen orientieren.
Diese grundlegenden Architekturentscheidungen haben meist größeren Einfluss auf Budget und Laufzeit als die spätere Auswahl einzelner Produkte.
Die Architekturentscheidung sollte unabhängig von aktuellen Marktbegriffen getroffen werden. Sie sollte sich an den Workloads orientieren, die die Plattform künftig unterstützen muss.
Bei jedem Angebot sollte zunächst geklärt werden, ob sich der Begriff auf ein Produkt, ein Betriebsmodell oder eine Architektur bezieht; anschließend sollte geprüft werden, ob das Zwei-Speicher-Zielbild oder eine gemeinsame Datenbasis zu den geplanten Workloads passt.
Trägt euer Modernisierungs-Zielbild oder vermischt es die Begriffsebenen?
Ob euer Modernisierungs-Zielbild trägt oder die Begriffsebenen vermischt, lässt sich in einem ersten Data & AI Assessment gut einordnen.
- welche eurer Reporting-, Data-Science- und Streaming-Workloads das Zielbild tatsächlich abdecken muss
- welche Kosten- und Governance-Risiken im Zwei-Speicher-Betrieb vor dem Programm-Start geprüft werden müssen
- welcher Architektur- und Migrationspfad zu eurer bestehenden Warehouse-Landschaft passt
FAQ
Ein Modern Data Warehouse ist eine Referenzarchitektur für analytische Datenplattformen. Sie kombiniert ein Cloud-Warehouse als Auswertungsschicht mit einem Data Lake als Rohdaten-Zone, verbunden über ELT-Prozesse und Orchestrierung, ergänzt um Semantic Layer und Self-Service-Zugänge. Der Begriff bezeichnet damit ein Zielbild für die Warehouse-Modernisierung und kein einzelnes Produkt oder Betriebsmodell.
