Datenstreaming bezeichnet die kontinuierliche Verarbeitung von Daten als fortlaufender Ereignisstrom, bei der jedes Ereignis unmittelbar bei seiner Entstehung verarbeitet wird. Anders als die Batch-Verarbeitung, die Daten in festen Intervallen als abgeschlossene Blöcke bewegt, arbeitet Datenstreaming auf einem prinzipiell unbegrenzten, zeitlich geordneten Datenstrom ohne definiertes Ende (unbounded).
Was ist Datenstreaming?
Beim Datenstreaming treffen Ereignisse (Events, Records, Messages) einzeln oder in kleinen Mikro-Batches ein und werden fortlaufend verarbeitet, ohne dass der vollständige Datensatz vorliegen muss. Der Datenstrom ist unbegrenzt und zeitlich geordnet; die Verarbeitung berechnet nicht den gesamten Bestand neu, sondern nimmt jeweils nur den neuen Ausschnitt auf. Diese inkrementelle Logik ist die technische Grundlage für niedrige Latenz und für kontrollierbare Kosten bei hohem Durchsatz.
Der Begriff hat an Gewicht gewonnen, weil die Zahl kontinuierlicher Ereignisquellen wächst: IoT-Sensorik, Klickströme, Transaktionen, Log-Daten und Change Data Capture aus operativen Datenbanken erzeugen laufend Ereignisse. Für Anwendungsfälle mit Anspruch auf zeitnahe Reaktion reicht die intervallbasierte Batch-Logik dann nicht mehr aus.
Die geforderte Latenz ist der zentrale Einordnungsparameter. Echte Real-Time-Verarbeitung reagiert im Millisekundenbereich, etwa bei Betrugserkennung oder Anlagensteuerung. Near-Real-Time toleriert Latenzen im Sekunden- bis Minutenbereich, wie sie ein laufend aktualisiertes Dashboard verträgt.
Technisch stützt sich Datenstreaming meist auf drei Bausteine: einen Message-Broker als Puffer und Transportschicht (etwa [Apache Kafka](https://kafka.apache.org/documentation/), Amazon Kinesis oder Azure Event Hubs), eine Stream-Processing-Engine für Transformationen, Aggregationen und Joins auf dem Strom (etwa [Apache Spark Structured Streaming](https://spark.apache.org/docs/latest/structured-streaming-programming-guide.html) oder [Apache Flink](https://flink.apache.org/)) sowie einen State-Store, der Zwischenzustände für zeitfenster- und zustandsbehaftete Operationen wie Windowing, Deduplizierung und Joins hält.
Abgrenzung: Batch, Structured Streaming und Streaming Analytics
Datenstreaming wird häufig mit benachbarten Begriffen verwechselt. Eine Zwischenstufe zwischen Batch und Stream bildet der inkrementelle Batch: häufige, kleine Läufe, die nur die seit dem letzten Lauf neuen Daten verarbeiten, ohne echte Ereignis-für-Ereignis-Kontinuität.
| Begriff | Verhältnis zu Datenstreaming |
|---|---|
| Batch-Verarbeitung | endliche, abgeschlossene Datenmengen in geplanten Läufen; das Gegenmodell zum fortlaufenden Strom |
| Structured Streaming | konkrete Engine-Umsetzung (Apache Spark); Implementierung des Konzepts, die einen Stream als wachsende Tabelle behandelt |
| Streaming Analytics | analytische Auswertung der Ströme (Kennzahlen, Muster, Alerts); ein Anwendungszweck des Verarbeitungsmodells |
| Message Queue | reiner Transport und Puffer von Ereignissen ohne die kontinuierliche Verarbeitung und Zustandshaltung |
Beispiel: Klickstrom-Aggregation in Near-Real-Time
Ein typischer Aufbau verarbeitet den Klickstrom einer Web-Anwendung. Die Klick-Ereignisse laufen über ein Kafka-Topic ein und werden von einer Stream-Processing-Engine in gleitenden Zeitfenstern aggregiert, etwa zu aktiven Nutzern pro Minute. Den Zustand für die Fenster-Aggregate hält der State-Store, das Ergebnis speist ein Near-Real-Time-Dashboard.
Weitere verbreitete Einsatzfelder sind die Betrugserkennung auf Transaktionsströmen im Real-Time-Bereich, die CDC-basierte kontinuierliche Replikation operativer Daten in ein Lakehouse und die Verarbeitung von IoT-Telemetrie.
Datenstreaming im eigenen Unternehmen umsetzen?
Wir zeigen, wie sich das in deiner Systemlandschaft konkret abbilden lässt.