Der Attention Mechanism (deutsch: Aufmerksamkeitsmechanismus) ist ein Rechenverfahren in KI-Modellen, das für jedes Wort einer Eingabe entscheidet, welche anderen Wörter im Text gerade wichtig sind. Statt jedes Wort gleich zu behandeln, verteilt das Modell Gewichte (eine Art Aufmerksamkeits-Score) und schaut gezielt dorthin, wo die relevante Information steht. Das Verfahren wurde 2014 für maschinelle Übersetzung eingeführt und bildet seit 2017 den Kern der Transformer-Architektur, auf der heutige Large Language Models (LLMs, große Sprachmodelle wie GPT oder Claude) beruhen.
Was ist der Attention Mechanism?
Ein Attention Mechanism gibt jedem Element einer Eingabe (zum Beispiel jedem Wort in einem Satz) eine gelernte Gewichtung dafür, wie stark es für den aktuellen Rechenschritt zählt. Statt einen Satz Wort für Wort durchzuarbeiten und den gesamten Zusammenhang in einen einzigen Zwischenspeicher (Speicherzelle des Netzes) zu pressen, kann das Modell direkt zu jeder beliebigen Stelle der Eingabe zurückspringen. Die Gewichte sind nicht fest programmiert, sondern werden im Training gelernt und ergeben sich aus den Wörtern und ihrer Position selbst.
Formal wird dieser Zugriff über drei Größen beschrieben: Query, Key und Value. Die Query stammt von der Position, die gerade Kontext sucht. Keys sind die adressierbaren Repräsentationen aller Positionen im Kontext. Values sind die eigentlichen Inhalte, die zurückgegeben werden. Das Attention-Gewicht zwischen einer Query und einem Key wird als skaliertes Skalarprodukt berechnet, durch eine Softmax-Funktion normiert und als Gewicht auf die zugehörigen Values angewendet. Die Formel softmax(Q · K^T / √d) · V bildet in Vaswani et al. 2017 den kompakten Ausdruck dieses Scaled Dot-Product Attention.
Der Begriff existiert, weil rekurrente Netze wie RNN und LSTM zwei Grenzen hatten: Sie verarbeiten Sequenzen streng sequenziell, und die Information weit entfernter Positionen verblasst über die Schrittkette (Vanishing Gradients). Bahdanau, Cho und Bengio führten 2014 in [Neural Machine Translation](https://arxiv.org/abs/1409.0473) einen Attention-Term ein, mit dem der Decoder direkt auf beliebige Encoder-Zustände zugreifen konnte. Vaswani et al. 2017 gingen in [Attention Is All You Need](https://arxiv.org/abs/1706.03762) einen Schritt weiter und verwarfen die Rekurrenz vollständig zugunsten reiner Attention. Ergebnis war die Transformer-Architektur.
Attention ist rechnerisch teuer: Die Berechnung aller Query-Key-Paare wächst quadratisch mit der Sequenzlänge. Diese Kostenkurve ist der Grund, warum LLMs ein begrenztes Kontextfenster haben und warum Varianten wie [FlashAttention](https://arxiv.org/abs/2205.14135) (Dao et al. 2022), Sparse- und Linear-Attention entwickelt wurden.
Abgrenzung zu Self-Attention, Cross-Attention, Multi-Head und RNN
Der Begriff „Attention" ist ein Dach-Term für mehrere Varianten. Die relevanten Trennlinien:
| Variante | Merkmal | Verhältnis zum Attention Mechanism |
|---|---|---|
| Self-Attention | Query, Key, Value stammen aus derselben Sequenz | Spezialfall; Grundbaustein jedes Transformer-Encoders |
| Cross-Attention | Query aus Sequenz A, Key/Value aus Sequenz B | Verbindet zwei Sequenzen (Encoder-Decoder, Bild-Text) |
| Multi-Head Attention | Mehrere parallele Attention-Berechnungen mit eigenen Projektionen | Kompositions-Muster; erlaubt es, verschiedene Beziehungstypen gleichzeitig zu lernen |
| RNN / LSTM | Sequenzieller versteckter Zustand ohne direkten Zugriff auf entfernte Positionen | Ältere Klasse; wurde durch Attention-basierte Modelle in Sprachaufgaben weitgehend abgelöst |
Self-Attention und der Attention Mechanism werden oft synonym verwendet, sind aber nicht deckungsgleich. Self-Attention bezeichnet den Fall, dass eine Sequenz auf sich selbst schaut. Cross-Attention bezeichnet den Fall zweier verschiedener Sequenzen. Multi-Head Attention ist eine architektonische Verpackung, die beide Fälle in mehreren parallelen Kanälen ausführt und deren Ergebnisse zusammenführt.
RNN und LSTM gehören zur Vor-Attention-Ära der Sequenzmodellierung. Sie bleiben in Nischen relevant (kleine Modelle, sehr lange Sequenzen mit Streaming-Bedarf), doch die dominierenden Sprach-, Bild- und Multimodal-Modelle beruhen auf Attention.
Beispiel: Ein Transformer-Block bei der Textverarbeitung
In einem typischen Sprachmodell durchläuft jedes Token pro Schicht eine Multi-Head-Self-Attention-Berechnung. Für den Satz „Das Modell wurde geladen, weil es klein war" bekommt das Token „es" eine Query-Repräsentation. Diese Query wird gegen die Keys aller anderen Tokens im Kontext verglichen. Die Softmax-Gewichtung ordnet dem Token „Modell" ein hohes Attention-Gewicht zu, „geladen" ein mittleres, „klein" ein niedriges. Die resultierende Value-Kombination fließt zurück in die Repräsentation von „es".
Nach 24 bis 100+ solcher Schichten liegt eine kontextangereicherte Vektorfolge vor, aus der das nächste Token vorhergesagt wird. Jeder Head im Multi-Head-Setup lernt dabei einen anderen Beziehungstyp: syntaktische Abhängigkeiten, Koreferenz, semantische Nähe.
In multimodalen Modellen wechselt der Attention-Typ innerhalb derselben Architektur. Der Vision-Encoder rechnet Self-Attention über Bild-Patches. Der Text-Decoder rechnet Self-Attention über die generierten Tokens. Cross-Attention verbindet beide Ströme und lässt den Decoder gezielt auf einzelne Bildregionen fokussieren. Diese Architekturposition macht Attention zum Bindeglied zwischen Modalitäten.
Attention Mechanism im eigenen Unternehmen umsetzen?
Wir zeigen, wie sich das in deiner Systemlandschaft konkret abbilden lässt.