Krombacher baut seine Data-Science-Workbench auf dem Databricks Lakehouse .

Krombacher hat die Plattformentscheidung strukturiert anhand konkreter Anforderungen bewertet. Databricks hat besonders dort überzeugt, wo Data Engineering, Machine Learning und GenAI auf einer gemeinsamen Plattform zusammenkommen sollen. Für das Data-Science-Team war außerdem wichtig, dass die Arbeitsweise nah an den gewohnten Entwickler- und Data-Science-Workflows bleibt, mit weniger Medienbrüchen und geringerem Wartungsaufwand.

Von der Plattformentscheidung bis zum produktiven Betrieb der neuen Data-&-AI-Workbench verging rund ein Jahr. In dieser Zeit wurden Zielarchitektur, SAP-Integration, Governance, ML-Betrieb und Infrastructure as Code schrittweise aufgebaut und in den produktiven Einsatz überführt.

Heute laufen unter anderem ML-Use-Cases für Demand Forecasting, Abwasserprognosen auf Basis von IoT-Sensordaten sowie Customer-Segmentation- und CLV-Modelle für das Loyalty-Programm produktiv auf der Plattform. Diese Modelle beeinflussen operative Entscheidungen in Planung, Produktion und Marketing.

Der Wartungsaufwand wurde spürbar reduziert, Monitoring für Model Drift und Data Drift standardisiert und Deployment sowie Retraining deutlich stärker automatisiert. Gleichzeitig entstand eine zentrale Datenbasis, auf der Daten aus SAP, Shopify, IoT und weiteren Quellen konsistent zusammengeführt werden.

Das Vorgehen ist besonders relevant für Unternehmen, die bereits erste produktive Daten- oder KI-Use-Cases haben und merken, dass gewachsene Tool-Landschaften, fehlendes Monitoring oder hoher Betriebsaufwand die weitere Skalierung ausbremsen. Je stärker Analytics, Data Science und KI zusammenwachsen, desto größer wird der Nutzen einer gemeinsamen Plattform.

Nicht zwingend. Besonders sinnvoll wird eine Data-&-AI-Workbench dann, wenn mehrere Use Cases aufgebaut, vereinheitlicht oder langfristig skaliert werden sollen. Die Plattform schafft die Grundlage dafür, dass neue Daten- und KI-Initiativen schneller, kontrollierter und mit weniger Reibung umgesetzt werden können.

Governance war kein nachgelagerter Baustein, sondern Teil der Zielarchitektur. Mit Unity Catalog, klaren Standards und Infrastructure as Code wurde die Plattform so aufgebaut, dass neue Daten- und KI-Use-Cases reproduzierbar, kontrolliert und sicher umgesetzt werden können.

Die Plattform unterstützt heute den gesamten ML-Lebenszyklus: von Ingestion und Feature Engineering über Training und Deployment bis zu Monitoring, Batch- und Realtime-Inferenz sowie automatisiertem Retraining. Dadurch wurde aus einzelnen Modell-Deployments ein standardisierter Betriebsansatz.

Ein Databricks Lakehouse vereint Data Lake und Data Warehouse auf einer Plattform. Statt Daten zwischen getrennten Systemen zu kopieren, liegen alle Daten auf günstigem Object Storage. Delta Lake als Open Table Format liefert ACID-Transaktionen, Schema-Enforcement und performante Queries direkt auf dem Lake.

SAP Datasphere und Databricks lassen sich kontrolliert miteinander verbinden, sodass Daten aus SAP BW oder S/4HANA in den Unity Catalog übernommen und dort für Analytics und Machine Learning genutzt werden können. Ergebnisse wie Prognosen oder Scores lassen sich anschließend wieder in SAP-nahe Prozesse zurückführen.

Unity Catalog ist die zentrale Governance-Schicht der Databricks-Plattform. Er verwaltet Berechtigungen, Data Lineage und Datenorganisation über Datenprodukte, Tabellen, Features und weitere Assets hinweg.

MLOps beschreibt die Praxis, Machine-Learning-Modelle zuverlässig und reproduzierbar in Produktion zu bringen und dort kontrolliert zu betreiben. Dazu gehören automatisiertes Training, versionierte Pipelines, Monitoring von Model Drift und Data Drift sowie standardisierte Deployment-Prozesse.

Die Medallion-Architektur gliedert Daten in drei Schichten: Bronze für Rohdaten, Silver für bereinigte und angereicherte Daten und Gold für business-nahe, konsumierbare Datensätze. Dieses Modell sorgt für Nachvollziehbarkeit, Datenqualität und klare Verantwortlichkeiten.

Delta Sharing ist ein offenes Protokoll für den sicheren Austausch von Daten zwischen Plattformen, ohne die Daten physisch zu kopieren. Dadurch können Daten kontrolliert zwischen Databricks, SAP-nahen Systemen, BI-Tools oder anderen Clients geteilt werden.