Lakeflow Connect: Definition und Ingest-Abgrenzung

Lakeflow Connect ist eine Familie fertiger Anschluss-Bausteine (Konnektoren) in Databricks, die Daten aus Vorsystemen wie Datenbanken oder Cloud-Anwendungen (Software-as-a-Service, kurz SaaS, etwa Salesforce, Workday oder SQL Server) automatisch in die Databricks-Datenplattform übernehmen. Die Bausteine kümmern sich selbst um Verbindung, Zeitplan, ersten Voll-Abzug und die laufende Übernahme von Änderungen, ohne eigenen Programmier-Aufwand für den Datentransport.

Was ist Lakeflow Connect?

Lakeflow Connect ist Teil der Databricks-Lakeflow-Plattform, dem Baukasten für den Datenfluss in Databricks. Er umfasst drei Bausteine: Lakeflow Connect für den Datentransport aus Vorsystemen (Ingestion), Lakeflow Spark Declarative Pipelines für die Verarbeitung und Lakeflow Jobs für die zeitliche Steuerung (Orchestrierung). Innerhalb dieser Familie kümmert sich Lakeflow Connect ausschließlich um den Zugriff auf Fremdsysteme wie operative Datenbanken oder SaaS-Anwendungen und bringt deren Daten in die Plattform.

Ein Lakeflow-Connect-Konnektor läuft als managed Ingestion-Pipeline. Der erste Lauf legt einen vollständigen Snapshot der ausgewählten Objekte an, danach übernimmt der Konnektor Änderungen über den nativen Mechanismus der Quelle: Change Data Capture (CDC) bei relationalen Datenbanken, Bulk-APIs und Change-Feeds bei SaaS-Anwendungen. Die Übernahme läuft inkrementell und in einem konfigurierbaren Intervall, häufig im Minuten- oder Stunden-Takt.

Das Zielformat ist immer eine Delta-Tabelle unter Unity Catalog. Damit hängen Berechtigungen, Lineage, Audit-Log und Tagging am Katalog, nicht am Konnektor. Nutzer konfigurieren Quell-Credentials, ausgewählte Objekte, Zielkatalog und Refresh-Frequenz; Runtime, Retry-Logik, Zeitplanung und Verbindungs-Handling verantwortet Databricks.

Die verfügbare Konnektor-Palette umfasst unter anderem Salesforce, Workday, SQL Server (inklusive Azure SQL, Managed Instance und on-prem über CDC), ServiceNow, Google Analytics 4, SharePoint sowie generische JDBC- und Datenbank-Konnektoren. Die Palette wird durch Databricks kontinuierlich ausgebaut und bleibt enger als bei Drittanbieter-Konnektor-Plattformen. Ergänzend erlauben Community Connectors, Open-Source-Konnektoren wie Airbyte oder Debezium einzubinden.

Abgrenzung: Auto Loader, Zerobus Ingest, Declarative Pipelines, Fivetran

Lakeflow Connect wird häufig mit anderen Ingest- oder Pipeline-Bausteinen der Databricks-Plattform verwechselt, weil die Namen und Zuständigkeiten teils dicht beieinanderliegen.

Begriff	Verhältnis zu Lakeflow Connect
Auto Loader	Inkrementelle Datei-Ingestion aus Cloud-Objektspeichern (S3, ADLS, GCS) über den cloudFiles-Reader. Setzt Dateien voraus; Lakeflow Connect adressiert strukturierte Quellsysteme direkt.
Zerobus Ingest	Push-Ingest, bei dem Anwendungen selbst Ereignisse in Delta-Tabellen schreiben. Zerobus ist die Direktverbindung einer eigenen Anwendung; Lakeflow Connect ist der Pull aus einem Fremdsystem.
Lakeflow Spark Declarative Pipelines	Deklaratives Verarbeitungs-Framework (früher Delta Live Tables) für Transformation, Datenqualität und Materialisierung. Lakeflow Connect liefert die Rohdaten (Bronze), Declarative Pipelines transformieren sie weiter.
Fivetran, Airbyte, Meltano	Drittanbieter-Konnektor-Plattformen mit deutlich breiterer Quell-Palette (Hunderte Konnektoren), aber eigener Runtime und getrennter Governance. Lakeflow Connect ist enger im Scope, dafür Databricks-nativ und Unity-Catalog-integriert.
Lakeflow Jobs	Orchestrierungs-Schicht (früher Databricks Jobs) für die zeitliche Steuerung von Konnektoren und Pipelines. Ergänzt Lakeflow Connect, ersetzt es nicht.

Beispiel: Salesforce-Ingest ins Lakehouse

Ein häufiger Einsatz ist der Vertriebsdaten-Ingest aus Salesforce in ein Databricks-Lakehouse. Ein Datenteam legt in Databricks eine Lakeflow-Connect-Pipeline für den Salesforce-Konnektor an, wählt die relevanten Objekte wie Account, Opportunity und Contact aus und benennt ein Zielschema unter Unity Catalog.

Der initiale Lauf lädt den vollständigen Bestand als Snapshot in die Bronze-Schicht. Danach übernimmt der Konnektor inkrementelle Änderungen über den Salesforce-Change-Feed in einem konfigurierten Intervall, etwa alle 15 Minuten. Die Zieltabellen liegen als Delta-Tabellen mit Lineage, Zugriffskontrolle und Audit-Log über Unity Catalog.

Nachgelagert transformiert eine Lakeflow-Spark-Declarative-Pipeline die Bronze-Tabellen in Silver-Modelle für Reporting, Kundenanalytik und weitere Verarbeitung. Die Trennung von Ingest (Lakeflow Connect) und Transformation (Declarative Pipelines) folgt der Medaillon-Architektur: Rohdaten in Bronze, fachlich modellierte Daten in Silver und Gold.