Lakeflow Designer

Lakeflow Designer ist ein visueller Editor in der Databricks-Datenplattform, in dem sich Datenpipelines (automatisierte Verarbeitungsstrecken für Daten) ohne Programmierung als Kästchen auf einer Zeichenfläche zusammenklicken lassen. Der Editor ersetzt die bisherige Oberfläche für Delta Live Tables und übersetzt den zusammengeklickten Datenfluss intern in dieselbe Ablauflogik, die Databricks-Entwickler sonst per SQL oder Python schreiben.

Was ist Lakeflow Designer?

Lakeflow Designer ist eine Bedienoberfläche innerhalb der Databricks-Plattform (Cloud-Umgebung für Datenverarbeitung und Analyse). Ein eigenes Ausführungssystem bringt der Editor nicht mit; die eigentliche Datenverarbeitung übernimmt das Framework Lakeflow Declarative Pipelines im Hintergrund. Anwender ziehen die einzelnen Verarbeitungsschritte per Maus (Drag-and-Drop) auf eine Zeichenfläche (Canvas) und verbinden sie: Quell-Kästchen (Tabellen und Konnektoren als Datenlieferanten), Verarbeitungs-Kästchen für Standard-Operationen wie Filtern, Verknüpfen (Join), Zusammenfassen (Aggregation) oder Umformen, KI-Operatoren für inhaltliches Sortieren und Anreichern sowie Ziel-Kästchen für die fertigen Ergebnisse (Tabellen, Sichten, Datenströme). Aus diesem visuellen Ablaufplan erzeugt der Editor intern eine formale Pipeline-Definition im Lakeflow-Declarative-Pipelines-Format.

Ergänzend erlaubt die Genie-Code-Funktion, Transformationen über natürlichsprachliche Anweisungen zu generieren. Das Ergebnis bleibt in beiden Fällen dieselbe Pipeline-Definition, die auch der code-basierte Zugang (SQL, Python im Notebook oder in Asset-Bundle-Projekten) erzeugt. Der Governance-Anschluss läuft über Unity Catalog: eigene Python-Funktionen (UDF, UDTF) kommen als wiederverwendbare Bausteine in den Editor, Berechtigungen und Lineage hängen am Katalog.

Der Begriff existiert, weil Databricks unter der Marke Lakeflow die Ingest-, Pipeline- und Orchestrierungs-Bausteine bündelt: Lakeflow Connect (Ingestion), Lakeflow Declarative Pipelines (Verarbeitung), Lakeflow Jobs (Orchestrierung). Der Lakeflow Designer ist innerhalb dieser Familie der visuelle Zugang zum deklarativen Pipeline-Modell und tritt an die Stelle des bisherigen Delta-Live-Tables-Editors. Public Preview lief seit April 2026, allgemeine Verfügbarkeit ab dem 16. Juni 2026; für Workspaces mit aktiviertem Compliance Security Profile gilt die Funktion laut Databricks als „coming soon".

Abgrenzung: Declarative Pipelines, DLT-Editor, Lakeflow Connect, Lakeflow Jobs

Lakeflow Designer wird häufig mit den anderen Lakeflow-Bausteinen und mit dem Backend-Framework verwechselt. Die folgende Tabelle klärt die vier häufigsten Abgrenzungen.

Ergänzend abgrenzbar: die code-basierte Pipeline-Entwicklung im Notebook oder in Databricks Asset Bundles nutzt dieselbe Engine wie der Designer. Der Unterschied liegt im Zugang (visuell versus code); die Runtime bleibt identisch. Für regulierte oder komplexe Produktivstrecken bleibt der code-basierte Weg der übliche Standard.

Beispiel: Silver-Strecke im Lakeflow Designer

Ein Analytics-Engineering-Team modelliert im Lakeflow Designer eine Silver-Strecke auf Basis von Bronze-Tabellen, die zuvor über Lakeflow Connect aus einem SaaS-System geladen wurden. Auf der Canvas verbinden Quell-Knoten die relevanten Bronze-Tabellen aus Unity Catalog, ein Filter- und ein Join-Knoten kombinieren sie zur Vorstufe der Silver-Tabelle, ein Aggregations-Knoten erzeugt eine Kennzahlen-Tabelle, eine Expectation prüft die Referenzintegrität.

Beim Speichern erzeugt der Editor aus dem Datenfluss eine Lakeflow-Declarative-Pipelines-Definition. Ein Export in ein Databricks Asset Bundle macht daraus ein versioniertes Deployment, das über CI/CD ausgerollt und von Lakeflow Jobs zeitgesteuert oder ereignisbasiert gestartet wird. Der Designer erscheint dabei ohne eigenen Menüpunkt in der Databricks-UI; der Zugang läuft über die ETL-Pipeline-Einstiegspunkte.

Typische Architekturposition: visueller Zugang für Bronze-nach-Silver- und Silver-nach-Gold-Strecken im Databricks-Lakehouse mit Übergabe an Engineering und CI/CD über Asset Bundles.