Entity Resolution auf Databricks: Wie ein Logistikkonzern globale Stammdaten konsolidiert

Entity Resolution erkennt, welche Datensätze aus unterschiedlichen Systemen dieselbe reale Entität meinen: denselben Account, Kunden, Standort oder dieselbe Adresse. Statt auf exakte Übereinstimmung setzt sie auf semantische Ähnlichkeit und ordnet zusammengehörige Datensätze auch dann zu, wenn Namen, Adressen oder Standortangaben je Quelle unterschiedlich erfasst wurden.

Ein Golden Record ist der führende, konsolidierte Datensatz für eine Entität. Aus mehreren widersprüchlichen Quell-Einträgen wird ein bereinigter Master-Datensatz abgeleitet, auf den nachgelagerte Analytics-, Operations- und Commercial-Prozesse zugreifen, statt jeweils eigene Bereinigungslogik zu bauen.

Ein Compound-AI-System kombiniert mehrere Verfahren statt eines einzelnen Modells. Hier greifen deterministische Standardisierung, semantische Embeddings, skalierbare Kandidatensuche über Vector Search und ein Re-Ranking über TF-IDF-Cosine-Similarity ineinander. Der Wert entsteht aus der Kombination, nicht aus einem Modell allein.

Diese Entitäten hängen zusammen: dieselbe Facility taucht in mehreren Accounts auf, dieselbe Adresse in mehreren Kundendatensätzen. Werden sie isoliert bereinigt, bleiben widersprüchliche Zuordnungen bestehen. Ein gemeinsamer Matching-Prozess erzeugt eine konsistente Sicht über Entitäts- und Systemgrenzen hinweg.

Über die Ähnlichkeitsschwelle im Re-Ranking. Sie lässt sich je Land, Datenqualität und Entitätstyp einstellen: strenger dort, wo falsche Zusammenführungen kritisch sind, flexibler dort, wo lokale Schreibvarianten dominieren. Approximate Nearest Neighbor liefert die Kandidaten schnell, TF-IDF-Cosine-Similarity prüft sie nachvollziehbar nach. Das Matching bleibt damit auditierbar.

Fuzzy-Matching skaliert in einem globalen, multilingualen Stammdatenbestand nicht. Zeichenähnlichkeit reicht nicht aus, um „Alfredstraße", „Alfredstr" und „Alfredstrasse" konsistent als denselben Standort zu erkennen. Geo-Koordinaten-Abgleiche wurden geprüft und verworfen: sie sind global zu teuer und zu unzuverlässig, weil dieselbe Adresse in Dutzenden Formaten auftauchen kann. Die Kombination aus Preprocessing, Embeddings und Vector Search trägt beides: semantische Nähe und wirtschaftliche Skalierung.

Nein. Die Lösung nutzt ein vortrainiertes multilinguales Embedding-Modell. Trainiert wird der Prozess, nicht das Modell. Es deckt Wortformen, Umlaute und Schreibsysteme über viele Länder ab, ohne dass ein eigenes Modelltraining nötig ist.

Lakeflow Jobs steuern die wiederholbaren Verarbeitungsschritte, Databricks SQL Warehouse mit Alerts überwachen Laufzeiten, Datenqualität, Reduktionsraten und Fehlerfälle. Der operative Betrieb liegt beim internen Data-&-AI-Team des Kunden; Dokumentation, Runbooks und Übergabe-Workshops sichern die Übergabe.

Das Matching liefert über 195+ Länder belastbare Ergebnisse, seine Genauigkeit ist aber durch die Rohtextqualität gedeckelt. Die zweite Ausbaustufe bereinigt deshalb gezielt den Input, statt die Matching-Logik auszutauschen. Die Verantwortung bleibt klar geschnitten: Das LLM standardisiert, die Kandidatensuche vergleicht. Das senkt das Risiko und macht den Beitrag der neuen Komponente messbar.

Über zwei Hebel. Batch-Inferenz bündelt Adressen, sodass die Systemanweisung pro Batch einmal anfällt statt pro Datensatz. Ein Invalid-Filter sortiert unbrauchbare Rohdaten aus, bevor sie Tokens kosten. Beides zusammen macht die globale Verarbeitung wirtschaftlich planbar.

Levenshtein-Distanzen begrenzen, wie stark das Ergebnis vom Input abweichen darf. Zusätzliche Struktur-Checks fangen gedrehte Hausnummern, fehlende Straßen oder frei erfundene Orte ab. Nur geprüfte Adressen gehen ins Matching; Datensätze, die durchfallen, laufen einmal zurück ans Modell und danach in die manuelle Sichtung.

Die Medallion-Architektur gliedert Daten in drei Schichten: Bronze für Rohdaten, Silver für bereinigte und harmonisierte Daten und Gold für konsumierbare, business-nahe Datensätze. Hier nimmt Bronze die rohen Stammdaten je Geschäftseinheit auf, Silver liefert die standardisierten Match-Kandidaten, Gold hält die konsolidierten Golden Records für Analytics und operative Systeme.

Ja. Der Kern aus Standardisierung, Embeddings, Kandidatensuche, Matching und Golden-Record-Logik ist ein Muster, kein Einzelfall. Er läuft hier auf einem globalen Stammdatenbestand in der Logistik, lässt sich aber auf andere Entitätstypen und Branchen mit demselben Dubletten- und Konsolidierungsproblem übertragen.