Wie ein SaaS-ERP-Anbieter 70 Kundeninstanzen in einem Databricks Lakehouse konsolidiert

Ein Multi-Tenant Lakehouse ist eine Datenplattform, auf der die Daten mehrerer Kunden oder Organisationseinheiten (Mandanten) auf einer gemeinsamen technischen Basis verarbeitet werden, während Zugriffe, Rechte und Datensichten pro Mandant sauber getrennt bleiben. Auf Databricks übernimmt Unity Catalog die Mandantentrennung, Delta Lake das Speicherfundament. So können standardisierte Datenprodukte für viele Kunden zentral entwickelt und trotzdem isoliert bereitgestellt werden.

Ein Lakehouse verbindet die offene, kostengünstige Speicherung eines Data Lake mit den Governance- und Performance-Eigenschaften eines Data Warehouse. Auf Databricks bilden Delta Lake das Speicherformat und Unity Catalog die Governance-Schicht, sodass Rohdaten, kuratierte Datenprodukte und ML-Workloads auf einer Plattform liegen.

Ein Data Lake speichert Rohdaten in offenen Dateiformaten kostengünstig und flexibel, bietet aber keine Transaktionen, kein Schema-Enforcement und keine Governance auf Datensatzebene. Ein Lakehouse ergänzt genau diese Data-Warehouse-Eigenschaften: ACID-Transaktionen, Schema-Kontrolle sowie Zugriffs- und Lineage-Steuerung. Damit lassen sich Rohdaten, kuratierte Datenprodukte und Analytics-Workloads auf einer Plattform betreiben, statt sie zwischen Data Lake und Data Warehouse zu bewegen.

Die Medallion-Architektur strukturiert die Datenverarbeitung in drei aufeinander aufbauenden Ebenen. Der Bronze-Layer nimmt Rohdaten unverändert auf. Der Silver-Layer harmonisiert und bereinigt sie, sodass Datensätze konsistent und mandantenübergreifend auswertbar werden. Der Gold-Layer enthält fachlich modellierte Datenprodukte für Reporting und Analytics. Im Projekt landen die CDC-Änderungen aus den ERP-Systemen im Silver-Layer und werden anschließend zu wiederverwendbaren Datenprodukten weiterverarbeitet.

Change Data Capture erfasst Änderungen an einer Datenbank (Inserts, Updates, Deletes) und stellt sie als Datenstrom bereit, statt regelmäßig ganze Tabellen zu exportieren. In diesem Projekt liest Debezium die Änderungen aus den Legacy-ERP-Datenbanken aus, Confluent Cloud transportiert sie in die Plattform. Damit wird die fehlende native Extraktionsschnittstelle des Quellsystems aufgelöst.

Über eine log-basierte CDC-Lösung wie Debezium. Debezium liest Änderungen direkt aus den Transaktionsprotokollen der Datenbank aus und ist damit nicht auf eine native CDC-Schnittstelle des Quellsystems angewiesen. Confluent Cloud transportiert die Änderungen als Stream, Lakeflow Declarative Pipelines übernehmen sie strukturiert in Delta-Tabellen. So werden Daten inkrementell und ressourcenschonend übertragen, ohne die Kundensysteme umzubauen oder aufwendige Full-Loads mit hoher Datenbanklast auszuführen.

Unity Catalog ist die zentrale Governance-Schicht der Databricks-Plattform. Sie regelt Zugriffe, Lineage, Auditing und Ownership über Kataloge, Schemas und Tabellen hinweg, feingranular bis auf Spalten- und Zeilenebene und einheitlich über die Umgebungen.

Über Unity Catalog. Zugriffe werden feingranular vergeben, Mandanten klar getrennt und Lineage durchgängig geführt. Individuelle Kundensichten und aggregierte, übergreifende Sichten stehen auf derselben Plattform, ohne dass Rohdaten unkontrolliert vermischt werden. Wer welche Daten auf Mandanten-, Rollen- oder Spaltenebene sieht, ist zentral im Katalog verankert statt in einzelnen Jobs versteckt.

Sicherheit und Compliance liegen im Governance-Modell, nicht nur in der Infrastruktur. Unity Catalog steuert Zugriffe auf Katalog-, Schema-, Tabellen-, Zeilen- und Spaltenebene und dokumentiert Lineage sowie Auditing zentral. Mandantendaten bleiben klar getrennt, sensible Attribute können rollenbasiert maskiert werden. Zusammen mit den Sicherheits- und Isolationsmechanismen der Databricks-Plattform auf AWS entsteht damit die Grundlage für einen DSGVO-konformen Betrieb.

Ein Star Schema ist ein Datenmodell, das Kennzahlen in einer Faktentabelle bündelt und über Dimensionstabellen mit fachlichen Attributen verknüpft. Es macht Auswertungen einfach lesbar, performant und wiederverwendbar. Im Projekt werden fachliche Entitäten und Kennzahlen einmal im Star Schema definiert und anschließend über viele Mandanten hinweg genutzt, statt für jeden Kunden ein eigenes Datenmodell aufzubauen.

Qlik greift über einen Databricks-SQL-Warehouse-Endpunkt auf die kuratierten Datenprodukte im Lakehouse zu. Die Datenprodukte im Gold-Layer bilden dabei die Konsumschicht: Qlik lädt sie, bereitet sie visuell auf und stellt sie internen wie externen Nutzern zur Verfügung. Governance und Zugriffsrechte bleiben in Unity Catalog verankert, sodass Qlik-Nutzer nur die Daten sehen, für die sie berechtigt sind.

Data-Warehouse-as-a-Service bezeichnet ein Betriebsmodell, bei dem ein zentral entwickeltes und betriebenes Data Warehouse als Service für viele Kunden bereitgestellt wird. Datenmodelle, Ingestion, Governance und Analytics-Produkte werden einmal aufgebaut und mandantenfähig ausgespielt. Im Projekt entstehen aus dem Lakehouse standardisierte Datenprodukte, die über Qlik an die ERP-Kunden ausgeliefert werden. Aus dem klassischen ERP-Geschäft wird so ein datengetriebenes SaaS-Angebot.

Weil ihre Daten typischerweise über viele Kundeninstanzen verteilt sind. Ohne gemeinsames Fundament bleibt Analytics je Installation ein Einzelfall, standardisierte Datenprodukte lassen sich kaum skalieren. Ein Multi-Tenant Lakehouse führt die Daten unter Governance auf einer Plattform zusammen, trennt Mandanten sauber und erlaubt trotzdem aggregierte Sichten. So können SaaS-Anbieter Analytics als Produktbestandteil anbieten, statt jeden Kunden individuell zu bedienen.

Das hängt von Datenbestand, Quellsystemen und Governance-Anforderungen ab. In diesem Projekt hat ruhrdot in der ersten Phase innerhalb von rund vier Monaten das mandantenfähige Lakehouse, die CDC-Ingestion für rund 70 ERP-Instanzen und erste standardisierte Datenprodukte aufgebaut. In der anschließenden Ausbauphase entwickelt das interne Data-Team die Plattform eigenständig weiter, ruhrdot begleitet als strategischer Sparringspartner.