Vom Fulfillment-Dienstleister zum datengetriebenen Partner mit Databricks

Reporting, Abrechnung und Analytics setzen einen konsolidierten Datenkern voraus. Ohne diesen Sockel wären Live-Dashboards und Kunden-APIs auf einer Streaming-Ebene entstanden, die parallel zum Reporting eigene Wahrheiten produziert. Die Reihenfolge stellt sicher, dass Batch- und Streaming-Sichten auf denselben Modellen aufbauen. KPIs bleiben konsistent, Kunden- und Betriebssicht driften nicht auseinander.

Auf den konsolidierten Streams laufen ML-Modelle, die den Materialfluss im Lager verbessern: Sie berechnen kürzere Pick-Routen, bündeln Aufträge zu sinnvollen Pick-Wellen, schlagen je Sendung eine passende Packstrategie vor und verteilen Aufträge dynamisch auf Zonen und Stationen. Grundlage sind dieselben Daten, die auch Reporting und Live-Sicht speisen. Ziel sind kürzere Wege, gleichmäßigere Auslastung und höherer Durchsatz zu Peak-Zeiten. Trainiert und ausgeliefert werden die Modelle über Mosaic AI auf der Databricks-Plattform.

Über den reinen Fulfillment-Betrieb hinaus stellt die Plattform den Kunden fertige Auswertungen als Zusatzleistung bereit: ABC-Analysen, die Artikel nach Umschlag und Wert klassifizieren, Slotting-Empfehlungen für die Lagerplatzvergabe, Retouren- und Sortimentsanalysen sowie Supply-Chain-Sichten. Die Kunden buchen diese Services, ohne eine eigene Dateninfrastruktur aufbauen zu müssen. So wird der Fulfillment-Betrieb selbst zum datenbasierten Leistungsangebot.

Die Datenbasis aus Lakehouse und Streams stellt Order-Status, Sendungsfortschritt und Performance-Kennzahlen über mandantenfähige APIs und eingebettete Sichten bereit. Kunden binden diese direkt in ihre eigenen Portale und Shops ein, statt sie als nachgelagerten Report zu verschicken. Die Fulfillment-Transparenz wird damit Teil des digitalen Kundenerlebnisses, das sie ihren eigenen Endkunden bieten.

Ja. Rollen- und Mandantentrennung ist über Unity Catalog und den Streaming-Layer durchgezogen, für Dashboards, APIs und eingebettete Sichten gleichermaßen. Jeder Kunde sieht ausschließlich seine eigenen Daten, unabhängig davon, über welchen Kanal er zugreift. Die Berechtigungen liegen zentral im Katalog, nicht in der jeweiligen Anwendung.

Der Streaming-Backbone über Confluent Cloud (Apache Kafka) und die Verarbeitung über Structured Streaming sind auf Durchsatz unter Peak-Last ausgelegt. Ereignisse aus WMS, OMS und Anlagentechnik werden entkoppelt aufgenommen und parallel verarbeitet, sodass Lastspitzen nicht auf die Quellsysteme zurückschlagen. Skalierung heißt damit nicht mehr mehr Ressourcen auf denselben Batch-Ansatz, sondern elastische Verarbeitung entlang der Streams.

Near-Real-Time bedeutet hier: Vom Ereignis im Lager bis zur Sichtbarkeit im Dashboard vergeht typischerweise weniger als eine Minute, statt der früheren Stunden im Batch. Es ist keine harte Millisekunden-Echtzeit wie in einer Maschinensteuerung, sondern eine für operative Entscheidungen ausreichend frische Sicht: früh genug, um auf Förderstaus, Downtimes oder Auftragsspitzen im laufenden Betrieb zu reagieren.

Confluent Cloud liefert ein gemanagtes Apache Kafka als Event-Backbone, inklusive Schema Registry für Versionierung und Kompatibilität. Damit entfällt der Betrieb eigener Kafka-Cluster, und die Streaming-Seite bleibt stabil unter Peak-Last. In Kombination mit Databricks entsteht eine durchgängige Strecke von der Ereignisaufnahme bis zur Verarbeitung und Auslieferung, ohne separaten Streaming-Stack neben dem Lakehouse.

Mosaic AI ist die KI- und ML-Schicht der Databricks-Plattform, um Modelle zu trainieren, zu betreiben und in Anwendungen einzubinden. Im Fulfillment-Kontext trägt Mosaic AI die Pick-, Pack- und Routing-Optimierung und bildet die Grundlage für die geplanten Predictive-Maintenance- und Forecasting-Use-Cases, alles auf derselben governance-geführten Datenbasis wie Reporting und Live-Sicht.

Lakeflow ist die Data-Engineering-Familie der Databricks-Plattform für Datenaufnahme, Pipelines und Orchestrierung. Über Lakeflow Jobs werden die Produktionspipelines Ende-zu-Ende gesteuert, mit Monitoring, Alerting bei Fehlern und Budget-Kontrollen. Batch- und Streaming-Strecken laufen darüber nach demselben Betriebsmuster.

Die Infrastruktur wird als Infrastructure as Code über Terraform provisioniert: Workspaces, Unity-Catalog-Objekte, Cluster und Jobs entstehen reproduzierbar aus versionierten Definitionen statt aus manueller Klickarbeit. Das macht Aufbau, Änderungen und das Anbinden weiterer Standorte nachvollziehbar und wiederholbar.

Die Medallion-Architektur gliedert Daten in Bronze für Rohdaten, Silver für bereinigte und angereicherte Daten und Gold für business-nahe Datensätze. Im Streaming-Kontext bleibt das Muster gleich: Ereignisse aus WMS, OMS und Anlagentechnik landen roh im Bronze-Layer, werden in Silver validiert und harmonisiert und in Gold als konsolidierte Marts für Reporting, Abrechnung und Live-Sichten bereitgestellt. Batch- und Streaming-Verarbeitung teilen sich dieselbe Layer-Struktur.