Databricks Serverless

Databricks Serverless ist der Sammelbegriff für Databricks-Compute-Optionen, bei denen Databricks die zugrundeliegenden virtuellen Maschinen (VMs) selbst bereitstellt und in Sekunden startet, ohne dass der Kunde einen Cluster startet oder VMs im eigenen Cloud-Konto verwaltet. Infrastruktur- und Software-Anteil sind in einer einheitlichen DBU-Rate zusammengefasst, sodass keine separate Cloud-Rechnung für den Serverless-Anteil entsteht.

Was ist Databricks Serverless?

Databricks Serverless bezeichnet ein Betriebsmodell, das auf mehrere Compute-Typen in Databricks angewendet wird, und keinen einzelnen Produktnamen. Das gemeinsame Merkmal: die zugrundeliegenden virtuellen Maschinen (die Server, auf denen die Arbeit läuft) laufen in einem von Databricks betriebenen Pool statt im Cloud-Konto des Kunden. Der Kunde bekommt einen Endpunkt oder einen Job-Auftrag, die Infrastruktur bleibt unsichtbar. Physisch existieren die Server weiterhin; unsichtbar sind Bereitstellung, Patches, Kapazitätsplanung und Skalierung.

Vier Ausprägungen sind heute verbreitet. Serverless SQL Warehouses stellen Compute für BI-Abfragen und die Databricks-SQL-Oberfläche bereit. Serverless Jobs führen geplante Workflows und Batch-Aufträge ohne vorab konfigurierten Job-Cluster aus. Serverless Model Serving stellt trainierte ML-Modelle als HTTP-Endpunkt bereit und skaliert automatisch mit dem Anfrage-Volumen. Serverless Compute für Notebooks deckt interaktive Entwicklung ohne All-Purpose-Cluster ab. Für Delta Live Tables und Lakeflow-Pipelines existiert ebenfalls eine Serverless-Variante.

Das Abrechnungsmodell unterscheidet sich vom Classic-Modell. Im Classic-Modell fällt eine DBU-Gebühr an Databricks an, während VMs, Storage und Netzwerk separat beim Cloud-Anbieter abgerechnet werden. Im Serverless-Modell ist die Infrastruktur in die DBU-Rate eingepreist; die Rate pro Compute-Einheit liegt entsprechend über der Classic-Rate, dafür entfällt die separate Cloud-Infrastruktur-Position. Details zur Kostenmechanik stehen im [Databricks Pricing Guide](/insights/databricks/pricing-guide/).

Der Begriff existiert, weil Sekunden-Startzeit, Scale-to-Zero und einheitliche Rechnung nur möglich sind, wenn Databricks die Kapazität selbst vorhält. Die technischen Grundlagen (Serverless Compute Plane, Netzwerk-Isolation, Kunden-Trennung) sind in der [Databricks-Architektur](/insights/databricks/databricks-architecture/) beschrieben.

Abgrenzung: Classic Compute, Serverless Computing, Jobs Compute, SQL Warehouse Classic

Databricks Serverless wird häufig mit anderen Databricks-Compute-Klassen und mit dem generischen Cloud-Muster gleichnamiger Angebote vermischt. Die Übersicht ordnet den Begriff ein.

Der zentrale Unterschied zu Classic Compute liegt im Ort der Infrastruktur und in der Rechnungsstruktur. Classic-Cluster starten VMs im Cloud-Konto des Kunden, wodurch Netzwerk-Regeln, Egress-Kontrollen und Compliance-Vorgaben direkt am Cloud-Konto durchgesetzt werden. Serverless-Compute liegt in einem von Databricks betriebenen Konto; dafür entfallen Cluster-Konfiguration, VM-Patch-Zyklen und die separate Cloud-Infrastruktur-Rechnung.

Der Unterschied zum Oberbegriff Serverless Computing ist die Konkretisierungs-Ebene. Serverless Computing beschreibt das Cloud-Muster mit Auto-Scaling, Scale-to-Zero und verbrauchsabhängiger Abrechnung. Databricks Serverless ist eine Umsetzung dieses Musters auf einer bestimmten Plattform, mit eigenen Compute-Klassen, eigener DBU-Abrechnung und eigenen Regionen-Verfügbarkeiten. Nicht jede Databricks-Region unterstützt jede Serverless-Variante; die Verfügbarkeit einzelner Serverless-Klassen (etwa Serverless Jobs oder Serverless Model Serving in bestimmten Regionen) ist mit der aktuellen Databricks-Dokumentation abzugleichen.

Innerhalb der Databricks-Klassen bleibt die Nutzungsform von Serverless Jobs und Classic Jobs Compute gleich (transient, an einen Job gebunden); die Klassen unterscheiden sich in Startzeit und Cloud-Rechnungs-Anteil. SQL Warehouse Serverless ist eine der drei Klassen unter [SQL Warehouses](/insights/glossar/sql-warehouses/), neben Classic und Pro; die Klassenwahl folgt Kostenpolitik und Netzwerk-Anforderungen.

Typischer Einsatz

Ein BI-Team betreibt Power-BI-Dashboards gegen ein Serverless SQL Warehouse der Größe 2X-Small mit Auto-Stop nach zehn Minuten Leerlauf und einem Multi-Cluster-Bereich von eins bis vier. Öffnen die Nutzer morgens die Berichte, startet das Warehouse innerhalb weniger Sekunden aus dem Databricks-Pool; steigt die Anzahl paralleler Anfragen, aktiviert Databricks zusätzliche Cluster im Hintergrund. Nach Feierabend fährt das Warehouse auf null zurück, es entstehen nur DBU-Kosten für die tatsächliche Laufzeit ohne separate VM-Position auf der Cloud-Rechnung.

Parallel dazu läuft ein nächtlicher ETL-Auftrag als Serverless Job. Databricks meldet den Auftrag im Serverless-Pool an, führt ihn aus und beendet das Compute; Cluster-Größen und Instanz-Typen werden nicht mehr gepflegt. Ein Empfehlungsmodell für Produktvorschläge wird als [Serverless Model Serving](/insights/glossar/model-serving/)-Endpunkt bereitgestellt und skaliert automatisch mit dem Anfrage-Volumen, inklusive Scale-to-Zero bei kalten Endpunkten. In allen drei Fällen sind die Cloud-Infrastruktur-Kosten in der jeweiligen DBU-Rate enthalten, die separate VM-Abrechnung entfällt.