Marketplace (Databricks Marketplace)

Marketplace bezeichnet im Databricks-Kontext den Databricks Marketplace: einen offenen Katalog, über den Anbieter Daten-Assets wie Tabellen, KI-Modelle, Notebooks und Dashboards an Databricks-Konsumenten und Dritte listen. Assets werden kostenlos (Free Listing) oder kostenpflichtig (Paid Listing) angeboten. Gemeint ist hier die Katalog- und Discovery-Schicht für Daten und KI-Artefakte, nicht der E-Commerce-Marktplatz für Waren; technisch setzt der Marketplace auf dem offenen Delta-Sharing-Protokoll (Live-Zugriff ohne Datenkopie) auf.

Was ist der Databricks Marketplace?

Der Databricks Marketplace ist ein zentraler Katalog, in dem ein Anbieter (Provider) Daten-Assets zum Bezug einstellt und ein Konsument (Consumer) sie im eigenen Databricks-Workspace findet, abonniert und direkt nutzt. Statt einer Bestell- und Ingest-Strecke bekommt der Consumer nach der Freigabe eine Live-Referenz auf das Asset in seinen eigenen Unity Catalog gemountet. Aktualisierungen des Providers werden ohne Kopiervorgang sichtbar.

Der Umfang der Assets ist breiter als bei klassischen Datenkatalogen. Neben Delta-Tabellen und Views lassen sich auch KI-Modelle (Foundation-Modelle, feinabgestimmte Modelle), Notebooks, Dashboards, Volumes und Solution-Accelerator-Pakete listen. Jedes Listing trägt strukturierte Metadaten (Schema, Aktualisierungsfrequenz, Herkunft, Lizenzform), oft ergänzt um ein Beispiel-Notebook und eine Vorschau auf einen Datenausschnitt.

Der Marketplace kennt zwei Listing-Modelle. Free Listings sind kostenlos beziehbar; die kommerzielle Beziehung liegt außerhalb von Databricks beim Provider. Paid Listings werden über Databricks abgerechnet, mit dem Anbieter als Verkäufer und Databricks als Marktplatz-Intermediär (regionale Verfügbarkeit unterschiedlich). Getrennt davon existieren Private Exchanges: nicht-öffentliche Marketplace-Instanzen, in denen eine Organisation Assets nur an ausgewählte Empfänger publiziert.

Technisch trägt Delta Sharing den Transport unter dem Marketplace. Ein Marketplace-Bezug erzeugt intern eine Delta-Sharing-Beziehung zwischen Provider und Consumer. Consumer außerhalb von Databricks können über den offenen Delta-Sharing-Client (Pandas, Power BI, Tableau, Spark) auf Marketplace-Listings zugreifen, sofern der Provider das erlaubt.

Der Begriff hat sich etabliert, weil ein reines Sharing-Protokoll die Discovery-Frage nicht löst. Eine Direktfreigabe zwischen zwei benannten Parteien braucht keinen Katalog; sobald aber viele Anbieter viele Datenprodukte an viele Konsumenten bringen wollen, fehlen Auffindbarkeit, Vorschau, Lizenz-Workflow und Nutzungs-Historie. Der Marketplace ergänzt genau diese Schicht über der Sharing-Infrastruktur.

Typische Inhalte im Databricks Marketplace sind Referenzdaten (Geo, Wetter, Wirtschaftsindikatoren, Finanzdaten), branchenspezifische KI-Modelle (Retail, Life Sciences, Financial Services), Solution-Accelerator-Notebooks für gängige Analyse-Aufgaben und Fundamental-Datensätze von etablierten Datenanbietern.

Abgrenzung zu Delta Sharing, AI Model Hub, Data Broker und Data-Mesh Data Products

Marketplace wird regelmäßig mit vier benachbarten Konzepten verwechselt. Die Unterscheidung entscheidet, welches Werkzeug für einen konkreten Anlass passt.

Delta Sharing ist das offene Protokoll für die Live-Freigabe von Datensätzen zwischen Systemen. Der Marketplace nutzt Delta Sharing intern und ergänzt die Katalog-, Discovery- und Lizenz-Schicht darüber. Direktfreigaben zwischen zwei bekannten Parteien laufen ohne Marketplace; dort reicht Delta Sharing allein.

Ein AI Model Hub wie Hugging Face konzentriert sich auf Modelle: Repository-Struktur, Modell-Karten, Community-Beiträge. Der Marketplace deckt Modelle als eine Asset-Klasse ab, listet daneben aber Tabellen, Notebooks und Dashboards. Zugriff und Bereitstellung erfolgen nativ im Unity Catalog des Consumers, ohne dass Modell-Artefakte manuell in die eigene Umgebung geladen werden.

Data Broker meint den klassischen Datenkauf außerhalb einer Plattform: individuell verhandelte Verträge, Auslieferung per API, SFTP oder Datei-Download, jeder Anbieter mit eigener Zugriffsstrecke. Ein Marketplace bündelt Discovery, Lizenz und Bereitstellung in einem Consumer-Erlebnis mit einheitlichem Zugriffsmuster über den Katalog.

Data-Mesh Data Products sind interne Datenprodukte einer Organisation, publiziert im Unternehmens-Katalog mit definiertem Owner und SLA. Der Marketplace ist demgegenüber der plattform-übergreifende, öffentliche oder halb-öffentliche Katalog. Data-Mesh-Setups nutzen intern eine ähnliche Bestell-Mechanik (siehe Private Exchanges), sind aber konzeptionell an interne Domänen gebunden.

Beispiel: Bezug einer täglichen Sanktionsliste über den Marketplace

Ein typischer Anwendungsfall ist der Bezug einer kommerziell gepflegten Sanktionsliste für ein internes Compliance- oder Fraud-Modell. Ein Compliance-Datenanbieter listet die täglich aktualisierte Liste als Delta-Tabelle im Databricks Marketplace, ergänzt um Schema, Beispiel-Notebook für Screening-Joins und Lizenzform.

Ein Finanzunternehmen findet das Listing im Katalog, prüft Schema und Aktualisierungsfrequenz gegen die Anforderungen seines Modells, akzeptiert die Nutzungsbedingungen und lässt sich das Datenprodukt in den eigenen Unity Catalog mounten. Ab diesem Zeitpunkt ist die Tabelle als share.provider.sanctions_daily in Notebooks, SQL-Warehouses und ML-Pipelines wie jede andere Tabelle abfragbar. Aktualisierungen des Providers werden ohne Ingest-Job sichtbar, weil intern eine Delta-Sharing-Referenz und keine Kopie zugrunde liegt.

Das Modell trägt analog für andere Asset-Klassen. Ein Health-Data-Provider stellt ein feinabgestimmtes medizinisches LLM als Marketplace-Modell mit Nutzungsbedingungen bereit; ein Klinikbetreiber bindet es über Model Serving ein, ohne das Modell-Artefakt selbst zu hosten. Ein Geo-Provider veröffentlicht ein Postleitzahl-zu-Region-Mapping als Free Listing; ein Handelsunternehmen abonniert die Tabelle für Regional-Reporting und pflegt keinen eigenen Update-Prozess mehr.