TQG skaliert ESN und More Nutrition mit einem Databricks Lakehouse

TQG ist in kurzer Zeit zu einem der führenden Anbieter im Bereich Health, Wellness und Performance Nutrition gewachsen. Mit dem Umsatzsprung über die Milliarden-Euro-Marke wuchs auch die Datenlandschaft: mehrere ERP-Instanzen, mehrere E-Commerce-Plattformen, zwei Warehouse-Management-Systeme für großformatige Lagerstandorte und zahlreiche Marketing-Datenquellen.

Das zentrale Datenteam musste zwei sehr unterschiedliche Nutzergruppen versorgen. Analysten brauchten verlässliche Reports für Operations, Marketing und Geschäftsleitung. Data Scientists benötigten zugleich flexiblen Zugriff auf Rohdaten, um neue Modelle und Use Cases zu entwickeln. Beide Gruppen arbeiteten auf einer fragmentierten Datenbasis mit unterschiedlichen Integrationswegen und Datenständen.

Mit jeder neuen Quelle stieg der technische Aufwand. Datenprodukte mussten regelmäßig angepasst, Schnittstellen neu gebaut und zusätzliche Signale in bestehende Pipelines integriert werden. Streaming-Events aus E-Commerce und Fulfillment ließen sich nur mit erheblichem Zusatzaufwand einbinden. An Peak-Tagen mit mehr als 100.000 Bestellungen erhöhte diese Komplexität das Risiko verspäteter oder inkonsistenter Informationen.

Die bestehende Werkzeugkette konnte um weitere spezialisierte Komponenten ergänzt werden. Für TQG hätte das zusätzliche Schnittstellen, Betriebsmodelle und Zuständigkeiten geschaffen. Gesucht war deshalb eine gemeinsame Plattform, die Batch, Streaming, BI, Data Science und Governance in einer konsistenten Architektur verbindet.

Gemeinsam mit ruhrdot bewertete TQG die Anforderungen entlang der realen Workloads: Daten aus mehreren ERP-Systemen, mehreren Shopify-Shops, den Warehouse-Management-Systemen und den Marketing-Kanälen wie Meta Ads, Google Ads, TikTok Ads und Klaviyo integrieren, zeitkritische Events als Stream verarbeiten, Analysten und Data Scientists auf derselben Datenbasis versorgen und Deployment sowie Infrastruktur standardisieren.

Databricks überzeugte als zentrale Processing- und Analytics-Plattform auf AWS. Amazon Kinesis liefert zeitkritische Event-Streams, Amazon S3 bildet das Storage-Fundament und Databricks übernimmt Ingestion, Transformation, Streaming, Serving und Machine Learning. Tableau bleibt die etablierte BI-Schicht für Fachbereiche und Management.

Damit entsteht ein Plattformmodell, in dem Reporting, operative Analysen und Data Science auf gemeinsamen Datenprodukten aufbauen. Neue Datenquellen und Use Cases folgen einem bestehenden Architektur- und Betriebsrahmen.

Vor der technischen Umsetzung entstand gemeinsam mit ruhrdot eine Zielarchitektur mit drei Leitprinzipien: ein zentrales Datenteam mit klaren Verantwortlichkeiten, definierte Datenprodukte für unterschiedliche Konsumenten und eine Architektur, die Batch- und Streaming-Verarbeitung gemeinsam trägt.

Databricks bildet mit Delta Lake und Apache Spark die Processing-Schicht über den Storage-Layern auf Amazon S3. Mosaic AI und MLflow schaffen die Grundlage für Training, Versionierung und Betrieb späterer Machine-Learning-Modelle.

Enablement lief parallel zur Implementierung. Das zentrale Datenteam arbeitete an Architektur, Pipelines und Deployment-Prozessen mit und übernahm schrittweise die Verantwortung für neue Quellen, Datenprodukte und Analytics-Workloads.