Deep Learning: Definition, Architekturen, Abgrenzung

Deep Learning ist eine Spielart des maschinellen Lernens (Computer lernen Muster aus Daten, statt sie einprogrammiert zu bekommen). Der Ansatz nutzt tiefe neuronale Netze: mathematische Modelle, die grob an das Gehirn angelehnt sind und aus vielen hintereinandergeschalteten Rechen-Schichten bestehen. Diese Netze lernen aus großen Datenmengen wie Bildern, Texten oder Audio-Aufnahmen selbst, welche Merkmale wichtig sind. Bei klassischen Verfahren mussten Fach-Experten diese Merkmale von Hand definieren (Feature-Engineering); Deep Learning ersetzt diesen Schritt.

Was ist Deep Learning?

Ein Deep-Learning-Modell besteht aus vielen Schichten (Layern), die hintereinandergeschaltet sind: einer Eingabe-Schicht, mehreren mittleren Schichten (Hidden Layers) und einer Ausgabe-Schicht. Jede Schicht enthält Zahlen (Gewichte), die im Training angepasst werden, und eine Rechenregel, die einfache in komplexere Muster verwandelt (die sogenannte Aktivierungsfunktion, konkrete Varianten heißen ReLU, GELU oder Sigmoid). Frühe Schichten erkennen einfache Muster wie Kanten oder Silben; tiefe Schichten setzen sie zu komplexen Konzepten wie Objektteilen oder Bedeutungszusammenhängen zusammen.

Trainiert werden diese Netze mit Backpropagation und Gradient-Descent-Verfahren (SGD, Adam). Der Trainings-Loss wird gegenüber den gelernten Gewichten differenziert und die Gewichte werden iterativ angepasst, bis der Fehler ein Minimum erreicht. Voraussetzung ist eine sehr große Trainingsdatenmenge (Millionen bis Milliarden Beispiele beziehungsweise Tokens) und Rechenleistung auf GPU- oder TPU-Clustern.

Historisch geht Deep Learning auf drei Bausteine zurück: den Backpropagation-Algorithmus (Rumelhart, Hinton und Williams 1986), die Convolutional Neural Networks (LeCun 1989, LeNet für handschriftliche Ziffern) und den Begriff „Deep Learning" selbst (Hinton et al. 2006, Deep Belief Networks). Der praktische Durchbruch kam 2012 mit AlexNet auf dem ImageNet-Benchmark: 60 Millionen Parameter, GPU-Training, deutliche Reduktion der Fehlerrate. 2017 führte Vaswani et al. mit dem Transformer eine Architektur ein, die heute die Grundlage der meisten Foundation Models und Large Language Models bildet.

Der Begriff existiert, weil klassische Machine-Learning-Verfahren handgebautes Feature-Engineering brauchen: Domain-Experten definieren, welche Merkmale einer Kunden-Zeile, eines Bildes oder eines Textes für die Aufgabe relevant sind. Deep Learning ersetzt diesen Schritt durch Representation Learning direkt aus Rohdaten wie Pixeln, Audio-Samples oder Tokens. Die Tiefe der Layer erlaubt eine hierarchische Abstraktion, die auf flachen Feature-Sets nicht abbildbar wäre.

Abgrenzung zu Machine Learning, Neuronalen Netzen und Foundation Models

Der Begriff wird häufig mit benachbarten Konzepten vermischt. Die relevanten Trennlinien:

Begriff	Rolle	Verhältnis zu Deep Learning
Machine Learning	Oberbegriff aller lernenden Verfahren	Deep Learning ist eine Teilmenge
Neuronale Netze	Modellklasse mit Neuronen-Layern	Deep Learning = neuronale Netze mit mehreren Hidden Layers (typisch >3)
Foundation Models	Sehr große, breit vortrainierte Modelle	Teilmenge des Deep Learning; nutzt oft Transformer-Architekturen
Reinforcement Learning	Lernen über Belohnungs-Signal	Eigenes Paradigma; Deep-RL kombiniert es mit tiefen Netzen
Klassische ML-Verfahren	Regression, Random Forest, XGBoost	Arbeiten auf handgebauten Features; keine Layer-Hierarchie

Bei tabellarischen Daten kleiner bis mittlerer Größe schlagen Gradient-Boosting-Verfahren wie XGBoost oder LightGBM Deep Learning häufig. Bei unstrukturierten Daten (Bild, Text, Audio) ist das Verhältnis umgekehrt: Deep-Learning-Modelle dominieren, weil sie die Repräsentation aus den Rohdaten selbst lernen.

Alle Deep-Learning-Modelle sind neuronale Netze, aber nicht jedes neuronale Netz zählt als „deep": Ein einzelnes Perzeptron oder ein Netz mit nur einem Hidden Layer bleibt flach. Foundation Models wie GPT-4, Llama oder Stable Diffusion sind Deep-Learning-Modelle mit zusätzlichen Eigenschaften (selbstüberwachtes Vortraining auf breiter Datenmenge, Aufgaben-Offenheit); Deep Learning umfasst darüber hinaus auch aufgabenspezifische Netze ohne Foundation-Charakter. Reinforcement Learning bildet ein eigenes Lern-Paradigma; wenn ein RL-Agent intern ein tiefes neuronales Netz nutzt, spricht die Literatur von Deep Reinforcement Learning (DQN, AlphaGo, RLHF).

Beispiel: Bildklassifikation, Sprachmodell und Gegenbeispiel

Ein Convolutional Neural Network wie ResNet-50 verarbeitet ein Röntgenbild Schicht für Schicht. Die ersten Convolutional Layers erkennen Kanten und Texturen, die mittleren Schichten lernen anatomische Strukturen wie Rippenverläufe oder Gefäßmuster, die letzten Schichten liefern eine Klassifikation („Pneumonie" oder „unauffällig"). Trainiert wird das Netz auf einigen zehntausend gelabelten Bildern, deployt als Modell-Endpoint hinter einer klinischen Anwendung.

Ein Transformer-basiertes Large Language Model wie Llama-3 oder GPT-4 verarbeitet einen Prompt Token für Token durch 32 bis 128 [Attention-Schichten](/insights/glossar/attention-mechanism/) und gibt für jeden Verarbeitungsschritt eine Wahrscheinlichkeitsverteilung über das nächste Token aus. Ohne die Deep-Learning-Grundlage (Layer-Stapel, Backpropagation, GPU-Training) wäre diese Klasse von Modellen nicht möglich.

Für eine Churn-Prediction auf 200.000 Kundendatensätzen mit strukturierten Merkmalen (Vertragsalter, Umsatz, Support-Tickets) liefert ein Gradient-Boosting-Modell wie XGBoost meist bessere Ergebnisse als ein tiefes neuronales Netz. Deep Learning ist hier die falsche Wahl: Die Datenmenge ist zu klein für Repräsentationslernen, und die Merkmale liegen bereits als aussagekräftige Spalten vor.