Embeddings

Ein Embedding ist eine Zahlenliste (Vektor), die einen Inhalt wie Text, Bild oder Audio so beschreibt, dass ähnliche Inhalte ähnliche Zahlenlisten bekommen. Auf dieser Zahlen-Ähnlichkeit basieren semantische Suche (Suche nach Bedeutung statt Wortgleichheit), RAG-Pipelines (Retrieval-Augmented Generation, ein Verfahren, das Sprachmodelle mit passenden Dokumenten füttert), Clustering (automatisches Gruppieren) und Empfehlungssysteme.

Was sind Embeddings?

Ein Embedding ist eine Liste aus Zahlen mit fester Länge (Vektor), die eine Eingabe im Bedeutungsraum verortet. Der Bedeutungsraum ist ein gedachtes Koordinatensystem, in dem Inhalte mit ähnlicher Bedeutung nah beieinanderliegen. Typische Längen liegen zwischen 384 und 4.096 Zahlen pro Eingabe. Statt eines einzelnen Symbols (Wort, Kategorie, ID) speichert der Vektor eine fein abgestufte Beschreibung, in der Bedeutungs-Nähe als geometrischer Abstand messbar wird. Wie ähnlich zwei Embeddings sind, lässt sich als Zahl ausdrücken, meist über [Cosine-Similarity](https://en.wikipedia.org/wiki/Cosine_similarity) (Winkel-Ähnlichkeit zwischen zwei Vektoren) oder das Skalarprodukt normierter Vektoren.

Embeddings entstehen als Ausgabe eines Embedding Models. Das Modell (in der Regel ein Transformer-Encoder) wird kontrastiv trainiert: Semantisch verwandte Paare aus Frage und Antwort, Query und Dokument oder Übersetzungspaaren werden im Vektorraum zusammengezogen, unverwandte Paare auseinandergedrückt. Das Ergebnis ist ein Raum, in dem geometrische Distanz mit inhaltlicher Ähnlichkeit korreliert. Ein Embedding ist damit die aggregierte, gepoolte Repräsentations-Ausgabe für eine gesamte Eingabe, nicht die interne Aktivierung einer einzelnen Modell-Schicht.

Der Begriff hat sich durchgesetzt, weil klassische Repräsentationen für heutige KI-Anwendungen nicht mehr ausreichen. One-hot-Vektoren, Bag-of-Words und TF-IDF sind hochdimensional, sparse und tragen keine semantische Information. Zwei verschiedene Wörter haben in diesen Verfahren orthogonalen Abstand, unabhängig von ihrer Bedeutung. Embeddings ersetzen sie durch niedrigdimensionale, dichte Vektoren, in denen semantische Ähnlichkeit direkt geometrisch messbar ist. Diese Verschiebung ist die Grundlage für semantische Suche, Deduplikation, Clustering und RAG-Pipelines.

Historisch entstand die Idee mit statischen Wort-Embeddings wie [Word2Vec](https://arxiv.org/abs/1301.3781), GloVe und FastText, die pro Wort einen festen Vektor lieferten. Heute dominieren kontextabhängige Satz- und Dokument-Embeddings aus Transformer-Encodern (Sentence-BERT, OpenAI text-embedding-3, Voyage, Cohere, BGE, E5, Nomic), multimodale Varianten wie [CLIP](https://openai.com/index/clip/) für Text und Bild in einem gemeinsamen Raum sowie Late-Interaction-Ansätze wie [ColBERTv2](https://arxiv.org/abs/2112.01488), die mehrere Vektoren pro Dokument speichern statt eines gepoolten Gesamtvektors. Als Evaluations-Landkarte für Text-Embeddings dient der [MTEB-Benchmark](https://huggingface.co/spaces/mteb/leaderboard).

Zentrale Eigenschaften eines Embeddings: Dimensionalität (mehr Dimensionen bedeuten feinere Trennung, aber mehr Speicher und Rechenzeit), Normierung (L2-normiert oder unnormiert), Distanzmetrik (Cosine, Skalarprodukt, Euklid) und die Bindung an das erzeugende Modell. Embeddings sind ausschließlich innerhalb desselben Modells vergleichbar. Ein Wechsel des Erzeuger-Modells macht alle bestehenden Embeddings unbrauchbar, weil die Koordinaten in einem anderen Raum liegen. Diese Kopplung ist der wichtigste Betriebsaspekt in produktiven Vektor-Indexen.

Abgrenzung zu Embedding Models, Tokenization und One-hot-Encoding

Der Begriff wird in der Praxis häufig mit dem erzeugenden Modell und mit vorgelagerten Schritten der Text-Aufbereitung vermischt. Die Abgrenzung sitzt jeweils an einer klaren funktionalen Grenze.

Der Unterschied zwischen Embeddings und Embedding Models ist der zwischen Erzeugnis und Erzeuger. Ein Embedding Model ist ein neuronales Netz (üblicherweise ein Transformer-Encoder), das die Übersetzung übernimmt. Embeddings sind die Vektoren, die dabei entstehen und im Vektor-Index landen. Ein Vektor-Index enthält Embeddings, kein Embedding Model; das Modell wird zur Query-Zeit separat aufgerufen, um das Query-Embedding zu erzeugen. Beide Begriffe werden umgangssprachlich synonym benutzt, bezeichnen aber technisch verschiedene Artefakte.

Tokenization sitzt vor der Embedding-Erzeugung. Sie zerlegt Text in Sub-Word-Einheiten und weist ihnen Ganzzahl-IDs zu. Diese IDs sind diskret und tragen keine semantische Ähnlichkeitsinformation: Zwei nahe verwandte Wörter können völlig verschiedene Token-IDs erhalten. Erst das Embedding Model übersetzt die Token-Sequenz in einen kontinuierlichen Vektor, in dem semantische Nähe geometrisch abgebildet ist. Tokenization ist die Input-Aufbereitung, das Embedding ist das inhaltliche Repräsentations-Ergebnis.

One-hot-Encoding ist die klassische Alternative, gegen die sich Embeddings historisch durchgesetzt haben. Ein One-hot-Vektor hat eine Dimension pro möglichem Symbol (bei einem Wortschatz von 50.000 Wörtern also 50.000 Dimensionen), enthält an genau einer Position eine Eins und sonst Nullen. Zwei verschiedene Wörter stehen dadurch orthogonal zueinander, unabhängig von ihrer Bedeutung; „Auto" und „Fahrzeug" sind in einer One-hot-Repräsentation genauso weit voneinander entfernt wie „Auto" und „Banane". Embeddings ersetzen diese Struktur durch niedrigdimensionale, dichte Vektoren mit semantischer Nähe-Struktur. Der Übergang von One-hot zu Embeddings ist der zentrale Repräsentationswechsel im Deep Learning der letzten fünfzehn Jahre.

Hidden States eines Sprachmodells werden gelegentlich mit Embeddings verwechselt. Hidden States sind die internen Aktivierungen einer bestimmten Modell-Schicht, meist ein Vektor pro Token und Layer. Ein Embedding im hier verwendeten Sinn ist die finale, gepoolte Repräsentation der gesamten Eingabe (typisch per Mean-Pooling über alle Token-Hidden-States oder über das CLS-Token). In vielen Modellen leitet sich ein Embedding aus Hidden States ab, aggregiert sie jedoch zu einer einzigen Repräsentation für die gesamte Eingabesequenz.

Beispiel: Embeddings in einem Vektor-Index auf Databricks

Ein interner Wissensassistent auf Databricks soll Fragen zu technischen Handbüchern beantworten. Nach dem Chunking liegen 15.000 Textabschnitte vor. Jeder Chunk läuft durch ein Embedding Model wie bge-large-en-v1.5 mit einer Ausgabedimension von 1.024. Das Ergebnis: 15.000 Embeddings, also 15.000 Vektoren mit je 1.024 Fließkomma-Werten. Der reine Vektor-Speicherbedarf liegt bei 15.000 × 1.024 × 4 Byte, rund 61 MB, plus Chunk-Text und Herkunfts-Metadaten. Diese Embeddings landen in Mosaic AI Vector Search als indexierte Sammlung.

Zur Query-Zeit erzeugt dasselbe Modell aus der Nutzerfrage ein Query-Embedding derselben Dimensionalität. Der Index findet über ein Approximate-Nearest-Neighbor-Verfahren (HNSW oder IVF-PQ) die zehn Chunks, deren Embeddings der Nutzerfrage im Vektorraum am nächsten liegen, gemessen per Cosine-Similarity. Diese Top-10 laufen anschließend durch einen Reranker und dienen dem Sprachmodell als Kontext für die Antwortformulierung.

Die Embeddings selbst sind in dieser Pipeline weder das Modell noch der Suchindex, sondern der eigentliche Inhalt, den der Index verwaltet. Wird das Erzeuger-Modell später gewechselt (etwa von bge-large auf voyage-3), sind alle bestehenden Embeddings unbrauchbar; sämtliche Dokumente müssen neu embedded werden, weil die Vektoren im neuen Modellraum andere Koordinaten haben. Diese Bindung zwischen Embedding und Erzeuger-Modell ist der zentrale betriebliche Aspekt jeder produktiven Vektor-Infrastruktur.