Data Ingestion: Definition, Muster und Abgrenzungen

Data Ingestion (Datenaufnahme) bezeichnet den Prozess, mit dem Daten aus Quellsystemen (den Systemen, in denen die Daten entstehen, etwa Datenbanken, Anwendungen oder Sensoren) in einen zentralen Speicher für Auswertung und Analyse übertragen werden. Für diese Aufnahme gibt es drei Muster: als Batch (in festen Zeitabständen paketweise), als Stream (fortlaufend, sobald Daten entstehen) oder als Change Data Capture (CDC) (nur die Änderungen aus einer Datenbank).

Was ist Data Ingestion?

Data Ingestion ist die Eingangsschicht einer Datenplattform, also die Stelle, an der Daten aus den betrieblichen Systemen ankommen, bevor sie ausgewertet werden. Die Quellen sind zum Beispiel operative Datenbanken (etwa hinter einem Onlineshop), SaaS-Anwendungen (Software as a Service, also Anwendungen wie ein CRM aus der Cloud), Dateien in einem Cloud-Speicher, Nachrichten aus einem Message-Broker (einem System, das Ereignisse zwischen Anwendungen weiterreicht) sowie Sensoren oder Log-Daten. Das Ziel ist ein zentraler Speicher, meist ein Data Warehouse, ein Data Lake oder ein Lakehouse (eine Mischform aus beidem), in dem die Rohdaten für Aufbereitung, Analyse und KI-Anwendungen bereitliegen. In einer Medaillon-Architektur (einem gängigen Schichtenmodell mit den Stufen Bronze, Silver und Gold) landen die aufgenommenen Daten in der Bronze-Schicht als unveränderte Kopie der Quelle, bevor Silver- und Gold-Schicht sie fachlich weiterverarbeiten.

Der Begriff existiert, um die reine Aufnahme sauber von der Aufbereitung zu trennen. Klassisches ETL vermischte beide Schritte im gleichen Job; im Lakehouse-Modell werden sie entkoppelt: erst wird ingestiert, dann transformiert (ELT). Diese Trennung erlaubt es, Rohdaten dauerhaft zu behalten und Transformationen zu ändern, ohne die Quelle erneut anzufragen.

Für die Aufnahme haben sich drei Muster durchgesetzt. Batch-Ingestion lädt Daten in festen Intervallen als abgeschlossene Blöcke, etwa einen stündlichen Extrakt aus einem CRM oder eine tägliche Datei-Lieferung aus einem SFTP-Verzeichnis. Streaming-Ingestion nimmt Ereignisse fortlaufend auf, sobald sie entstehen, und liefert niedrige Latenz für IoT-Telemetrie oder Klickströme. Change Data Capture liest den Änderungsstrom einer operativen Datenbank aus dem Transaktions-Log und bringt Insert-, Update- und Delete-Ereignisse zeilenweise in das analytische Ziel.

Verantwortungsbereich der Ingest-Schicht sind Konnektivität zur Quelle, Format-Handhabung (JSON, Avro, Parquet, CSV, Protobuf), Schema-Erkennung und -Evolution, Idempotenz und Exactly-once-Semantik bei Wiederholungen sowie Fehlerbehandlung und Rückverfolgbarkeit. Die Ingest-Rate beschreibt die Menge an Daten, die pro Zeiteinheit aufgenommen werden, und ist die zentrale Kenngröße für die Auslegung von Puffer, Parallelität und Ziel-Tabelle.

Abgrenzung: ETL/ELT, Data Integration und Data Replication

Data Ingestion wird häufig mit benachbarten Begriffen verwechselt, weil sie auf ähnliche Weise Daten bewegen, aber in unterschiedlichen Rollen und mit unterschiedlichem Ziel.

Begriff	Verhältnis zu Data Ingestion
ETL / ELT	Ingestion ist der Extract-Teil (bei ELT plus ein leichter Load in die Rohschicht). ETL/ELT umfasst zusätzlich die fachliche Transformation. Ingestion ohne Transformation ist im Lakehouse der Regelfall.
Data Integration	Breiterer Begriff. Umfasst Ingestion plus semantische Zusammenführung mehrerer Quellen, Master-Data-Management und teils bidirektionale Synchronisation. Ingestion ist unidirektional und ohne fachliche Konsolidierung.
Data Replication	Physische Spiegelung auf Storage- oder Log-Ebene, typischerweise zwischen operativen Systemen (Primary/Standby). Ingestion adressiert analytische Ziele und arbeitet auf Row- oder Event-Ebene.
Data Migration	Einmaliger Vorgang zur Umstellung von einem System auf ein anderes. Ingestion ist dauerhaft und wiederkehrend.
Change Data Capture	Ein Ingest-Muster (neben Batch und Streaming), kein eigenständiger Prozess. CDC ist die technische Umsetzung für den Fall, dass Änderungen einer operativen Datenbank niedrig-latent in das Ziel gelangen sollen.

Die Abgrenzung zwischen Data Ingestion und Data Integration ist besonders relevant. Data Integration antwortet auf die Frage „Welche Daten aus welchen Quellen bilden die Grundlage für welche Entscheidung?" und umfasst semantische Modellierung. Data Ingestion antwortet enger auf „Wie kommen die Rohdaten technisch in das Ziel?"; Datenmodell, Fachlogik und Konsolidierung liegen außerhalb ihres Verantwortungsbereichs.

Beispiel: Bronze-Ingest einer Bestellplattform in ein Lakehouse

Eine Bestellplattform betreibt ihre operative Datenbank auf Postgres. Parallel liefert das CRM Kontakte über eine SaaS-API, und ein Fulfillment-Partner legt tägliche Lieferstatus-Dateien in einem S3-Bucket ab. Ziel ist ein Databricks-Lakehouse mit einer Bronze-Schicht als verlustfreie Roh-Ablage.

Für die drei Quellen kommen drei Ingest-Muster zum Einsatz. Die Postgres-Änderungen werden per Debezium als Change Data Capture aus dem Write-Ahead-Log gelesen und als JSON-Events auf einem Kafka-Topic bereitgestellt. Ein Structured-Streaming-Job in Databricks konsumiert den Topic und führt die Events per MERGE INTO in eine Delta-Tabelle bronze.orders zusammen. Die CRM-Kontakte werden über einen Managed-Konnektor (Lakeflow Connect) periodisch als Batch abgeholt und in bronze.crm_contacts geschrieben. Die täglichen S3-Dateien liest Auto Loader inkrementell mit Directory Listing und schreibt sie in bronze.fulfillment_events.

Alle drei Datenströme landen in der Bronze-Schicht als verlustfreie Kopie der Quelle. Silver- und Gold-Schichten übernehmen die fachliche Transformation, das Deduplizieren und die Modellierung; das ist nicht mehr Teil der Ingestion.