Multi-Tenant Lakehouse auf Databricks: 3.000+ Restaurant-Mandanten zentral auswerten

ERP-eingebettete Analytik skaliert nicht über Mandantengrenzen hinweg: 3.000+ isolierte Datenbanken machen zentrale Governance, mandantenübergreifende Sichten und ML-Use-Cases technisch und organisatorisch schwer tragbar. Ein Multi-Tenant-Lakehouse trennt Mandanten sauber, erlaubt aggregierte Sichten unter Governance und liefert ein Fundament, auf dem Ingestion, Reporting und ML gemeinsam laufen.

Rund zwölf Monate von der Data Strategy bis zur produktionsreifen Architektur. Am Ende stand ein mandantenfähiges Lakehouse mit vier Schichten, Unity-Catalog-Governance und einer per Infrastructure as Code aufgesetzten Umgebung, das das interne Data-&-Analytics-Team eigenständig weiterbetreibt.

Unity Catalog steuert Zugriffe fein granular auf Tabellen-, Spalten- und Zeilenebene. Jeder Mandant sieht ausschließlich seine eigenen Daten, während aggregierte, mandantenübergreifende Sichten für Ketten, Franchise-Verbünde und den Betreiber auf einer separaten Ebene bereitstehen. Wer welche Daten auf welcher Ebene sehen darf, ist zentral im Katalog verankert statt in einzelnen Reports oder Jobs.

Die Kassensysteme in den Filialen senden ihre Betriebsdaten on-premises direkt an einen Azure Event Hub. Von dort übernehmen Lakeflow Declarative Pipelines die Events kontinuierlich ins Lakehouse und verarbeiten sie entlang der Layer: Landing nimmt die Rohdaten mandanten-isoliert auf, Curated bereinigt und harmonisiert, Core stellt die business-nahen Modelle bereit.

Sie geben jedem Datensatz einen klaren Ort: Landing hält die 1:1-Rohdaten mandanten-isoliert, Curated die bereinigten und deduplizierten Daten, Core die konformen, businessmodellierten Entitäten, Analytics die aggregierten, BI- und ML-fertigen Datenprodukte. So entstehen Reports und ML-Anwendungen auf einer nachvollziehbaren Grundlage statt auf improvisierten Zwischenständen.

Delta Lake ist das Speicherformat über alle vier Schichten. ACID-Transaktionen, Schema-Enforcement und performante Queries direkt auf Object Storage sorgen dafür, dass Engineering, Analytics und ML auf denselben Daten arbeiten, ohne Format-Wechsel und ohne Kopien.

Terraform rollt Umgebungen mit vorkonfiguriertem Compute, Storage, Berechtigungen und CI/CD reproduzierbar aus. Neue Mandanten, Umgebungen und Use Cases entstehen nach einem wiederholbaren Muster statt über manuelle Konfiguration, was den Betrieb über tausende Mandanten hinweg beherrschbar macht.

Das Betriebsmodell wurde von Anfang an mitgedacht: Verantwortlichkeiten, Rollen, Onboarding neuer Mandanten und Pflege der Metadaten sind definiert. So kann das interne Data-&-Analytics-Team Betrieb und Weiterentwicklung selbstständig übernehmen, gestützt auf Runbooks, dokumentierte Architekturentscheidungen und wiederverwendbare Vorlagen.

Die kuratierten Datenmodelle und das Knowledge-Graph-Modell liegen auf derselben governance-geführten Basis wie Reporting und ML. Darauf können Produktfunktionen wie Empfehlungen, Cross-Selling und dynamische Preise direkt aufsetzen. Perspektivisch entstehen daraus Agentic-AI-Funktionen, die Betreibern konkrete Vorschläge im Alltag liefern, weil Verkaufsdaten, Mandantenlogik, Produktgruppen und Knowledge Graph auf einer gemeinsamen Datenbasis liegen.

Für SaaS-Anbieter mit vielen Mandanten und generell für Organisationen, deren Daten über viele Mandanten, Systeme oder Geschäftsbereiche verteilt liegen und die daraus eine gemeinsame, governance-geführte Datenbasis für Reporting, ML und Produktfunktionen bauen wollen.

Ein Lakehouse verbindet die offene, kostengünstige Speicherung eines Data Lake mit den Governance- und Performance-Eigenschaften eines Data Warehouse. Auf Databricks bilden Delta Lake das Speicherformat und Unity Catalog die Governance-Schicht, sodass Rohdaten, kuratierte Datenprodukte und ML-Workloads auf einer Plattform liegen.

Unity Catalog ist die zentrale Governance-Schicht der Databricks-Plattform. Sie regelt Zugriffe, Lineage, Auditing und Ownership über Kataloge, Schemas und Tabellen hinweg, feingranular bis auf Spalten- und Zeilenebene und einheitlich über Dev-, Test- und Prod-Umgebungen.

Dass Governance, saubere Layer und reproduzierbare Umgebungen von Anfang an so aufgesetzt sind, dass ML- und AI-Use-Cases direkt darauf starten können. Neue Datenprodukte und Modelle greifen auf kuratierte, nachvollziehbare Daten zu, statt für jeden Use Case eine eigene Grundlage zu schaffen.

Der Datenfluss ist in vier Schichten gegliedert: Landing für 1:1-Rohdaten aus den Quellsystemen, Curated für bereinigte, deduplizierte und angereicherte Daten, Core für konforme, businessmodellierte Entitäten und Analytics für aggregierte, BI- und ML-fertige Datenprodukte. Dieses Modell sorgt für Nachvollziehbarkeit, Datenqualität und klare Verantwortlichkeiten über den gesamten Datenfluss.