Transformer: Definition, Architektur, Rolle in LLMs

Ein Transformer ist ein Bauplan für neuronale Netze, der Texte und andere Folgen (Sequenzen) verarbeitet, indem alle Wortbausteine (Tokens) gleichzeitig statt nacheinander gelesen werden. Zwei Bausteine tragen die Architektur: Self-Attention (jedes Token schaut auf alle anderen und gewichtet, was gerade wichtig ist) und ein Feed-Forward-Netz (eine klassische Rechenschicht dahinter). Vorgestellt 2017 im Paper „Attention Is All You Need" (Vaswani et al.), ersetzt der Transformer die älteren rekurrenten Netze RNN (Recurrent Neural Network) und LSTM (Long Short-Term Memory) und bildet die Grundlage moderner Large Language Models wie BERT, GPT, T5, Llama und Claude.

Was ist ein Transformer?

Der Transformer ist ein Bauplan aus dem Deep Learning (mehrschichtige neuronale Netze) für Daten in Reihenfolge: Sätze, Zeitreihen, auch Bild-Ausschnitte. Anders als die Vorgänger arbeitet er weder rekurrent (Token für Token nacheinander, wie RNN und LSTM) noch mit gleitenden Fenstern (wie ein CNN, Convolutional Neural Network aus der Bildverarbeitung). Der Kernbaustein ist die [Self-Attention](/insights/glossar/self-attention/): eine Schicht, in der jedes Token (der kleinste Textbaustein, meist ein Wort oder Wortstück) die anderen Tokens gewichtet und daraus eine kontextangereicherte Bedeutung zusammensetzt. Auf jeden Attention-Block folgt ein Feed-Forward-Netz, das die Ergebnisse pro Token weiter verrechnet. Zwei Hilfsbausteine halten das Ganze stabil: Residual-Verbindungen (Abkürzungen zwischen den Schichten gegen Informations-Verlust) und Layer Normalization (Skalierung der Werte pro Schicht). Ein Positional Encoding (Reihenfolge-Signal) trägt die Position jedes Tokens nach, weil der Transformer sonst nicht wüsste, welches Wort zuerst kommt.

Vaswani et al. stellten die Architektur bei Google Brain und Google Research [im NeurIPS-Paper 2017](https://arxiv.org/abs/1706.03762) als Encoder-Decoder-Modell für maschinelle Übersetzung vor. Der Encoder liest die Eingabesequenz bidirektional und erzeugt eine Repräsentation; der Decoder generiert die Ausgabe autoregressiv und greift per Cross-Attention auf die Encoder-Repräsentation zu. Aus diesem Ursprung haben sich drei Varianten herausgeschält, die heute den Markt dominieren: Encoder-Only-Transformer (BERT-Familie, Klassifikation und Extraktion), Decoder-Only-Transformer (GPT-, Llama-, Claude-Familie, autoregressive Generierung) und Encoder-Decoder-Transformer (T5, BART, Übersetzung und Sequence-to-Sequence-Aufgaben).

Die Architektur existiert, weil rekurrente Netze zwei strukturelle Grenzen hatten: sie verarbeiten Sequenzen streng sequenziell (kein Parallelismus auf GPU) und ihre Gradienten verblassen über lange Abhängigkeiten. Der Transformer löst beide Probleme in einem Schritt. Alle Positionen einer Sequenz werden gleichzeitig verarbeitet, und die Attention-Pfadlänge zwischen zwei beliebigen Tokens ist konstant. Genau diese Eigenschaft machte das Skalieren auf Milliarden Parameter und Trillionen Trainingstokens erst möglich und ist die Voraussetzung für das Skalierungsverhalten heutiger [Foundation Models](/insights/glossar/foundation-models/).

Die Ausbreitung über NLP hinaus verlief in vier Wellen: Sprache (BERT 2018, GPT-Serie ab 2018), Vision (Vision Transformer [Dosovitskiy et al. 2020](https://arxiv.org/abs/2010.11929)), Audio (Wav2Vec 2.0, Whisper) und Multimodalität (CLIP, GPT-4o, Gemini, Claude). In allen vier Domänen wird dieselbe Grundarchitektur eingesetzt, nur die Eingabe-Modalität und das Tokenisierungs-Verfahren wechseln. Das Rechenprofil bleibt dabei quadratisch in der Sequenzlänge, was die harten Grenzen des Kontextfensters heutiger LLMs erklärt und der Grund für Effizienz-Varianten wie [FlashAttention](https://arxiv.org/abs/2205.14135) (Dao et al. 2022), Sparse-Attention und Grouped-Query Attention ist.

Abgrenzung zu Attention, RNN, CNN und Diffusion Model

Der Begriff Transformer wird häufig mit seinen Bausteinen oder mit anderen Netz-Architekturen vermischt. Die relevanten Trennlinien:

Begriff	Merkmal	Verhältnis zum Transformer
Self-Attention	Mechanismus zur gewichteten Kombination von Tokens innerhalb einer Sequenz	Kernbaustein einer Transformer-Schicht, nicht die Architektur selbst
RNN / LSTM / GRU	Sequenzielle Verarbeitung mit versteckter Zustandsspur	Vorgänger-Klasse vor 2017; wurde in Sprach- und Sequenzaufgaben abgelöst
CNN	Lokales Fenster fester Größe, linear in der Sequenzlänge	Alternative Netzklasse; in Vision seit ViT vielfach vom Transformer überholt
Diffusion Model	Iterative Rauschentfernung als generatives Trainingsparadigma	Andere Modellfamilie; nutzt intern oft Transformer-Blöcke (DiT), ist aber kein Transformer

Self-Attention ist ein einzelner Baustein innerhalb einer Transformer-Schicht. Der Transformer als Architektur besteht aus einem Stack gleich aufgebauter Blöcke, in denen jeweils eine Multi-Head-Self-Attention-Schicht und ein Feed-Forward-Netz aufeinanderfolgen; ein einzelner Attention-Block bleibt deutlich unter der Kapazität eines vollständigen Transformer-Netzes. Wer den Mechanismus verstehen will, findet die Details im Nachbar-Glossareintrag zu [Self-Attention](/insights/glossar/self-attention/); der Dach-Term steht unter [Attention Mechanism](/insights/glossar/attention-mechanism/).

RNN, LSTM und GRU sind die Vorgänger-Klasse. Sie pflegen einen versteckten Zustand, der Schritt für Schritt aktualisiert wird, und haben dadurch zwei Nachteile: sequenzielles Training ohne echten GPU-Parallelismus und schwindende Gradienten bei langen Sequenzen. Der Transformer hat diese Klasse in Sprach- und Sequenz-Aufgaben weitgehend abgelöst. RNN-Varianten bleiben in kleinen Modellen und Streaming-Zeitreihen relevant.

Convolutional Neural Networks arbeiten mit lokalen Fenstern fester Größe und wachsen linear in der Sequenzlänge. Sie sehen pro Schicht nur einen Ausschnitt und decken größere Distanzen durch Stapelung ab. Der Transformer hat pro Schicht ein globales Rezeptivfeld, zahlt aber mit quadratischer Attention-Komplexität. Im Vision-Bereich hat der Vision Transformer seit 2020 einen Großteil der Benchmarks übernommen, CNNs bleiben aber in Nischen wie Edge-Deployment und kleinen Datensätzen relevant.

Diffusion Models sind eine andere generative Familie. Sie trainieren ein Netz, iterativ Rauschen aus Bildern, Audio oder anderen Daten zu entfernen (Score Matching, Denoising Diffusion Probabilistic Models). Der Trainingsansatz und die Inferenz-Schritt-Logik unterscheiden sich fundamental vom autoregressiven Transformer-Setup. Das interne Netz eines Diffusion Models kann Transformer-Blöcke enthalten (Diffusion Transformer, DiT; Peebles und Xie 2023), die Architektur-Familie bleibt aber getrennt.

Beispiel: Decoder-Only-Transformer in einem modernen LLM

Ein autoregressives Sprachmodell wie Llama 3 zeigt die Architektur am klarsten. Das 70-Milliarden-Parameter-Modell stapelt 80 identisch aufgebaute Decoder-Blöcke. Jeder Block besteht aus einer Multi-Head-Self-Attention-Schicht mit 64 Attention-Heads, einem SwiGLU-Feed-Forward-Netz, Layer Normalization vor jedem Sub-Block (Pre-LN) und Residual-Verbindungen. Die kausale Maske in der Attention-Schicht lässt jedes Token nur auf vorangehende Tokens schauen und macht die Token-für-Token-Generierung erst möglich.

Der Verarbeitungsweg beginnt mit der [Tokenisierung](/insights/glossar/tokenization/) des Eingabetexts in [Tokens](/insights/glossar/token/), die anschließend als Vektor-Embeddings mit Positional Encoding (Rotary Position Embedding, RoPE) in den ersten Block einfließen. Jeder Block reichert die Token-Repräsentationen um Kontextinformation an. Nach 80 Blöcken projiziert eine lineare Schicht die letzte Token-Repräsentation auf die Vokabulargröße, Softmax liefert eine Wahrscheinlichkeitsverteilung, und aus dieser wird das nächste Token gesampelt. Der ganze Vorgang wiederholt sich pro generiertem Token.

Andere Varianten nutzen dieselbe Grundarchitektur mit veränderter Konfiguration. Ein Encoder-Only-Transformer wie BERT verwendet keine kausale Maske und lässt jedes Token die gesamte Sequenz sehen. Diese Konfiguration eignet sich für Klassifikation, Named Entity Recognition und Extraktion. Ein Vision Transformer teilt ein Bild in 16×16-Patches, bettet jeden Patch als Visual Token ein und lässt einen Standard-Encoder-Stack darüber laufen. Die Trennung nach Aufgabe entsteht über Maskierung, Trainingsziel und Eingabe-Tokenisierung, während die Architektur selbst gleich bleibt.