Zum Inhalt springen
Von MS SQL Server zum Databricks Lakehouse: Finance-DWH-Migration auf Azure

Von MS SQL Server zum Databricks Lakehouse: Finance-DWH-Migration auf Azure

Wie ein Logistikkonzern sein Finance-Data-Warehouse von MS SQL Server auf Databricks Lakehouse in Azure migriert und Reporting mit Power BI modernisiert.

Lesedauer6 Min.
VeröffentlichtJuli 2026

Die wichtigsten Ergebnisse

  • Produktiver Kern in 3 Monaten

    Der Finance-Kern des DWH läuft auf Databricks — ohne Feature-Freeze und ohne den laufenden Betrieb zu gefährden.

  • 90+ Pipelines bewertet & priorisiert

    Statt Big-Bang-Lift-and-Shift: ein wiederholbarer Migrationspfad, der technische Schulden abbaut statt sie zu verschieben.

  • Team migriert eigenständig weiter

    Handover als durchgehendes Deliverable — Code-Reviews, Pairing-Slots und dokumentierte Entscheidungen über die gesamten drei Monate.

  • Eine Plattform statt drei Schichten

    Compute, Orchestrierung (Lakeflow Jobs) und Reporting (SQL Warehouse) konsolidiert — keine separate Orchestrierung neben dem Lakehouse.

Zusammenfassung

Der Kunde ist ein global tätiger Logistikkonzern mit Operationen auf allen Kontinenten. Die Finance-Organisation arbeitet quer über Ländergrenzen und liefert Konzern- und Länderreports, die auf einer eigenen Analytics-Landschaft basieren. Diese Landschaft war über Jahre on-premises auf MS SQL Server gewachsen: SSIS als ETL-Schicht, T-SQL-Stored-Procedures für die Transformationen, SSAS-Cubes für multidimensionale Auswertungen und SSRS für die Standardberichte. Als zentrale Finance-Plattform bündelte das DWH Daten aus vielen Business Units und unterschiedlichen Quellsystemen, von Salesforce über SAP R/3 und SAP S/4HANA bis Teradata.

Übersicht

Kunde
Logistikkonzern
Anonymisierte Referenz
Branche
Logistik

Verwendete Technologien & Systeme

SAP S/4HANA
SAP S/4HANA
Apache Spark
Apache Spark
Azure Cloud
Azure Cloud
Power BI
Power BI
Databricks Unity Catalog
Databricks Unity Catalog
SQL Warehouse
SQL Warehouse
Databricks Delta Lake
Databricks Delta Lake
Die Transformation

Von MS SQL Server zu Databricks Lakehouse auf Azure.

01Ausgangssituation

Ein DWH, das seine Grenzen erreicht hat.

Das Finance-DWH lief on-premises auf einer gewachsenen MS-SQL-Server-Landschaft: SSIS-Pakete zogen und transformierten die Daten, T-SQL-Stored-Procedures trugen die Geschäftslogik, SSAS-Cubes lieferten die multidimensionalen Auswertungen und SSRS die Standardberichte. Als zentrale Finance-Plattform band es Daten aus vielen Business Units und heterogenen Quellsystemen an: Salesforce, SAP R/3, SAP S/4HANA, Teradata und weitere. Über Jahre waren daraus 90+ Pipelines und Use Cases entstanden, jede mit eigener Historie, eigenen Abhängigkeiten und eigenen Workarounds. Die Systeme funktionierten, aber die Belastung stieg schneller als die verfügbare Kapazität. Reporting-Zyklen wurden enger, Datenmengen größer, Anforderungen an Aktualität höher.

Neue Analytics-Anforderungen aus dem Finance-Bereich landeten auf einer Infrastruktur, die weder für moderne Workloads noch für die anfallenden Datenmengen ausgelegt war. Skalieren bedeutete: teurer Server, mehr Wartung, gleiche Architektur. Optimieren bedeutete: einzelne Skripte umbauen, ohne die Gesamtlage zu verbessern. Jede Anfrage aus dem Fachbereich kostete Ressourcen, jeder Ausfall kostete Reporting-Fenster.

Dem Team fehlte die Erfahrung mit Databricks und Lakehouse-Konzepten, um die Modernisierung selbst zu starten. Das Wissen war intern schlicht nicht vorhanden, und der Alltag ließ keinen Raum, es sich nebenbei anzueignen. Externe Beratungsprojekte hatten in der Vergangenheit einzelne Punkte gelöst, den strukturellen Umbau aber nicht in Gang gebracht.

Die eigentliche Frage betraf den Weg: Wie migriert man ein gewachsenes DWH mit 90+ Pipelines strukturiert, ohne den laufenden Betrieb zu gefährden und ohne dass die Migration im nächsten Reorg wieder auf Halde landet?

Solange das DWH auf einer Infrastruktur läuft, die weder skaliert noch von einem erfahrenen Team gepflegt wird, entscheidet der Zufall, wann der nächste Ausfall die Reports blockiert.
Logistikkonzern: Kapitel 01
02Herausforderung

Vollmigration oder strukturierter Migrationspfad?

Eine klassische Antwort wäre gewesen: alles 1:1 nach Databricks portieren, in einem Big-Bang. Bei 90+ Pipelines mit gewachsenen Abhängigkeiten war das kein realistischer Weg. Der laufende Betrieb ließ ein Feature-Freeze über Monate nicht zu, und ein reiner Lift-and-Shift der SSIS-Pakete, SSAS-Cubes und SSRS-Reports hätte die technischen Schulden auf die neue Plattform gehoben.

Die Alternative wäre ein reines Bewertungsprojekt gewesen: PowerPoint, Zielbild, Abschlussbericht, danach Suche nach einem Umsetzungspartner. Bei einem Team, das Databricks-Erfahrung erst noch aufbauen musste, hätte das den Umsetzungsstart um Monate verschoben.

Gemeinsam mit ruhrdot bewertete das Team die Ausgangslage entlang konkreter Anforderungen: einen produktiv nutzbaren Migrationskern in drei Monaten, die Orchestrierung auf Lakeflow Jobs konsolidieren, das Databricks SQL Warehouse als Reporting-Layer aufsetzen und einen wiederholbaren Migrationspfad definieren, den das interne Team nach dem Handover weitertragen kann.

Databricks überzeugte, weil Lakehouse-Architektur, Spark SQL als Zielsprache, native Orchestrierung über Lakeflow Jobs und ein SQL Warehouse für Power-BI-Konsum in einer Plattform zusammenkommen. Azure war gesetzt, Power BI blieb die BI-Schicht. Migration hieß hier: Compute-Schicht, Orchestrierung und Reporting-Endpoint auf einer Plattform konsolidieren, statt eine separate Orchestrierungs-Schicht neben dem Lakehouse weiterzupflegen.

Die Entscheidung war eine gegen den Big-Bang und für einen strukturierten Pfad mit Handover-Ziel von Beginn an.
Logistikkonzern: Kapitel 02
03Strategie

Ein wiederholbares Migrationsmuster für 90+ Pipelines.

Vor der ersten Portierung entstand mit ruhrdot ein Migrationsmuster: Welche Artefakt-Typen gibt es (T-SQL-Stored-Procedures, SSIS-Pakete, SSAS-Cubes, SSRS-Reports), welche Konvertierungsregeln gelten von T-SQL nach Spark SQL, wie werden die SSIS-ETL-Strecken über Lakeflow Jobs neu aufgesetzt und welche Namensgebung und Metadaten gelten im Zielsystem.

Auf dieser Basis wurden die 90+ Pipelines und Use Cases bewertet und priorisiert. In den drei Projektmonaten wurde ein definierter Kern tatsächlich migriert, die verbleibenden Kandidaten wurden dokumentiert und für die Weiterführung durch das interne Team vorbereitet. Ziel war ein produktiver Kern samt reproduzierbarem Muster für den schrittweisen weiteren Ausbau.

Enablement lief von Anfang an mit. Hands-on-Sessions, gemeinsame Code-Reviews und dokumentierte Runbooks ersetzten reine Schulungsformate. Die Weiterführung der Migration war explizit als Kundenaufgabe eingeplant.

Leitprinzip: ein Muster einmal sauber definieren und für die restlichen Pipelines reproduzieren lassen.
Logistikkonzern: Kapitel 03
04Lösung

Databricks Lakehouse auf Azure, orchestriert über Lakeflow Jobs.

In drei Monaten entstand der produktiv laufende Kern des Finance-DWH auf Databricks. Lakeflow Jobs ziehen Daten aus den Quellsystemen und orchestrieren die Notebooks und Spark-SQL-Tasks. Aus dem klassischen SSIS-getriebenen ETL wird ein ELT-Muster auf dem Lakehouse. Die ehemaligen T-SQL-Skripte und Stored Procedures laufen als Spark-SQL-Workloads auf Databricks-Clustern und einem Databricks SQL Warehouse. Die multidimensionalen Auswertungen der SSAS-Cubes bildet der konsolidierte Gold-Layer ab, an die Stelle der SSRS-Reports tritt Power BI auf dem SQL Warehouse.

Die Migration war zugleich eine Optimierung. Nicht jedes Skript wurde 1:1 portiert. Wo T-SQL-Konstrukte auf Spark SQL besser gelöst werden konnten, wurden sie umgeschrieben. Wo Pipelines zusammengeführt werden konnten, wurden sie zusammengeführt. Wo Zwischenschritte redundant waren, sind sie entfallen. Die Migration hat den Anlass geliefert, die über Jahre entstandenen Umwege abzubauen, ohne dafür ein eigenes Aufräum-Projekt aufsetzen zu müssen.

Der Betrieb wurde über Lakeflow Jobs als zentrale Orchestrierungs- und Deployment-Schicht standardisiert. Das Zusammenspiel mit den bestehenden Azure-Diensten wie Storage und Identity wurde beibehalten, sodass die Migration keine Nebenbaustellen im umliegenden Landschaftsbild aufgemacht hat.

Parallel zur technischen Umsetzung entstanden Runbooks für die verbleibenden Migrationen. Jede migrierte Pipeline lieferte Beispielcode für die nächste. Aus dem Muster wurde eine Vorlage, aus der Vorlage ein reproduzierbarer Prozess. Der Handover lief als durchgehendes Deliverable über die drei Monate, verteilt auf Code-Reviews, Pairing-Slots und dokumentierte Entscheidungen.

Compute-Schicht, Orchestrierung und Reporting ziehen auf eine Plattform. Das wiederholbare Migrationsmuster macht die Strecke für das Team beherrschbar.
Logistikkonzern: Kapitel 04
3 Monatebis zum produktiven Finance-Kern
90+ Pipelinesbewertet & priorisiert migriert
100 % EigenbetriebTeam migriert allein weiter

Zielarchitektur

Finance-DWH im Lakehouse auf Azure.

Quellsysteme aus vielen Business Units werden über Lakeflow Jobs angebunden und orchestrieren Databricks-Workloads auf einer Lakehouse-Architektur. Reporting läuft über das Databricks SQL Warehouse und Power BI. Quellsysteme (über viele Business Units) Databricks Data Intelligence Platform (Managed · Azure · Unity Catalog) Workloads Deployment & Betrieb: Automatisierung · Monitoring · Enablement Lakeflow Jobs orchestrieren die Pipelines und das Deployment, Databricks-Notebooks dienen als gemeinsame Arbeitsfläche, dokumentierte Migrationsmuster und Runbooks tragen die Weiterführung durch das interne Team.

Bausteine

  • CRM: Salesforce
  • ERP: SAP R/3 und SAP S/4HANA
  • Data-Warehouse-Bestände: Teradata und das historisierte Alt-DWH
  • Operative Logistik-Systeme: Auftrags- und Sendungsdaten
  • Finance-Fachsysteme: Buchhaltung · Konzernabschluss · Kosten- und Erlösstrukturen
  • Governance: Unity Catalog · Ownership pro Datendomäne · Lineage · Zugriffskontrolle
  • Orchestrierung: Lakeflow Jobs · Tasks · Trigger
  • Data Ingestion: Bronze (Raw) → Silver (Cleansed) → Gold (Business-ready)
Platform Outcomes

Was die Plattform strukturell liefert.

Skalierbare Compute-Schicht ohne Server-Wartung

Die Compute-Schicht läuft auf Databricks-Clustern und einem SQL Warehouse. Skalierung erfolgt über die Konfiguration der Cluster und des SQL Warehouse, ohne dass neue Server beschafft werden müssen. Der Wartungsaufwand für die Compute-Schicht entfällt für das Team weitgehend. Kapazität wird an die Last angepasst und automatisch heruntergefahren, wenn keine Workloads laufen.

Spark SQL als Zielsprache mit dokumentiertem Migrationsmuster

T-SQL-Konstrukte werden nach einem definierten Muster nach Spark SQL überführt. Das Muster ist dokumentiert, wiederholbar und die Grundlage für die verbleibenden Migrationen. Wiederkehrende Übersetzungsfälle sind mit Beispielen belegt, sodass das Team bei jeder neuen Pipeline eine Referenz zur Hand hat.

Lakeflow Jobs als native Orchestrierung

Pipelines werden auf der Plattform selbst angestoßen, geplant und deployt, statt über eine separate Orchestrierungs-Schicht daneben. Die Migration hat Compute-Schicht und Orchestrierung zusammengeführt. Bestehende Trigger, Zeitpläne und Abhängigkeiten wurden nach Lakeflow überführt und nur dort angepasst, wo die neue Zielarchitektur es erforderte.

Databricks SQL Warehouse als Reporting-Endpoint

Power BI und Ad-hoc-Konsum greifen auf dasselbe SQL Warehouse zu. Reporting-Werkzeuge müssen nicht ausgetauscht werden, die Reporting-Nutzer merken nicht, dass die Datenbasis gewechselt hat. Der Umstieg auf die neue Plattform passiert ohne Change-Kommunikation quer durchs Finance-Netzwerk.

Optimierung als Teil der Migration

Wo Skripte konsolidiert oder umgeschrieben werden konnten, ist das direkt in der Migration passiert. Der Zielzustand ist nicht der Ausgangszustand auf neuem Untergrund, sondern eine bereinigte Version. Doppelte Zwischenlayer, redundante Extrakte und tote Codepfade sind bei der Portierung direkt entfallen und leben in der neuen Landschaft nicht mehr weiter.

Vorher / Nachher

Was sich konkret verändert hat

Vorher

Nachher

Compute-Schicht

On-Premises MS SQL Server, an Skalierungsgrenzen
Databricks-Cluster und SQL Warehouse auf Azure

Pipeline-Sprache

T-SQL-Skripte und Stored Procedures, historisch gewachsen
Spark SQL nach dokumentiertem Migrationsmuster

ETL-Strecken

SSIS-Pakete on-premises, jede mit eigenen Abhängigkeiten
Lakeflow Jobs orchestrieren ein ELT-Muster auf dem Lakehouse

Multidimensionale Auswertung

SSAS-Cubes (OLAP) als separater Layer
Konsolidierter Gold-Layer im Databricks SQL Warehouse

Orchestrierung

Orchestrierung als eigene Ebene neben der Compute-Schicht
Lakeflow Jobs orchestrieren die Pipelines nativ auf derselben Plattform

Reporting & Berichte

SSRS-Reports und Direktzugriff auf MS SQL Server
Power BI und Ad-hoc auf dem Databricks SQL Warehouse

Nächste Schritte

Auf dem Migrationsmuster bauen die nächsten Schritte auf.

Der produktive Kern ist die Grundlage für die restlichen 90+ Kandidaten. Drei Stufen stehen sortiert bereit.

1

Nächster Schritt: Verbleibende Pipelines nach dem Muster migrieren.

Das interne Team führt die dokumentierte Migration weiter. Weitere Use Cases werden Schritt für Schritt auf Spark SQL überführt, jeweils mit Lakeflow-Orchestrierung nach demselben Standard.

2

In Vorbereitung: Reporting-Landschaft konsolidieren.

Power-BI-Reports werden auf das Databricks SQL Warehouse umgezogen. Alt-Verbindungen zum MS SQL Server werden Stück für Stück abgeklemmt, sobald der Ziel-Layer die entsprechenden Kennzahlen liefert.

3

Ziel: Finance-Analytics auf einer Plattform.

Reporting, Ad-hoc-Analyse und weitere Finance-Use-Cases laufen auf derselben Plattform, ohne parallele Compute-Schicht. Neue Anforderungen greifen auf denselben Gold-Layer zu.

Steht ihr vor einer ähnlichen DWH-Migration?

Wenn ein gewachsenes Data Warehouse an Skalierungsgrenzen stößt und die Modernisierung mit dem eigenen Team nicht nebenbei zu stemmen ist, hilft ein strukturierter Migrationspfad mit definiertem Kern und Muster für die Weiterführung. Vollmigrationen im Big-Bang sind selten der beste Weg; eine geordnete Strecke mit produktivem Kern und Enablement ist es meistens schon. Wir prüfen mit euch, welcher Teil sich als Migrationskern eignet, wie das Zielbild auf Databricks aussieht und wie das interne Team die verbleibende Migration eigenständig weiterführen kann.

Alexander Rabe
Alexander Rabe
Co-Founder · Head of Data & AI

FAQ

Häufig gestellte Fragen