Neural Network: Definition, Aufbau, Layers, Abgrenzung

Ein Neural Network (künstliches neuronales Netz) ist ein Rechenmodell aus mehreren Schichten kleiner Recheneinheiten (Neuronen), das aus Beispielen lernt, wie es Eingaben (etwa ein Bild oder einen Text) in Ausgaben (etwa eine Kategorie oder das nächste Wort) übersetzt. Es ist die Modell-Familie, aus der auch Deep Learning und die heutigen KI-Sprachmodelle wie ChatGPT hervorgehen.

Was ist ein Neural Network?

Ein neuronales Netz besteht aus drei Bestandteilen: einer Eingabeschicht (nimmt die Daten entgegen), einer oder mehreren verborgenen Schichten (Hidden Layers, in denen gerechnet wird) und einer Ausgabeschicht (liefert das Ergebnis). Jedes Neuron einer Schicht bekommt Zahlen von der vorherigen Schicht, verrechnet sie mit eigenen Gewichten (Zahlenwerten, die im Training festgelegt werden) und leitet das Ergebnis durch eine Aktivierungsfunktion, eine einfache mathematische Kurve, die aus der Zwischensumme den Ausgabewert des Neurons formt (gängige Kurven heißen ReLU, GELU, Sigmoid oder Tanh). Erst diese gekrümmten Kurven erlauben es dem Netz, auch komplexere Zusammenhänge zu erfassen und nicht nur gerade Linien durch die Daten zu legen.

Trainiert wird ein Netz mit Backpropagation und Gradient-Descent-Verfahren (SGD, Adam). Der Loss (Kreuzentropie bei Klassifikation, mittlerer quadratischer Fehler bei Regression) wird gegenüber jedem Gewicht differenziert, und die Gewichte werden iterativ in Richtung des negativen Gradienten angepasst. Für kleine Netze reicht eine CPU; für tiefe Netze auf Bild- oder Text-Daten kommen GPU-/TPU-Cluster zum Einsatz.

Historisch geht der Begriff auf mehrere Etappen zurück: McCulloch und Pitts (1943, erstes mathematisches Neuronenmodell), Rosenblatt (1958, Perzeptron), Rumelhart, Hinton und Williams (1986, Backpropagation), LeCun (1989, Convolutional Neural Networks). Der praktische Durchbruch der modernen Ära kam 2012 mit AlexNet auf dem ImageNet-Benchmark; 2017 legte die Transformer-Arbeit von Vaswani et al. die Grundlage für heutige Sprach- und Multimodalmodelle.

Das Modell existiert, weil viele Aufgaben (Bild, Sprache, Audio) keine handgebauten Feature-Sets zulassen. Ein Neural Network lernt die passenden Zwischenrepräsentationen selbst aus den Daten: Frühe Schichten erfassen einfache Muster wie Kanten oder Token-Nachbarschaften; tiefe Schichten bauen daraus abstraktere Konzepte wie Objektteile oder semantische Rollen.

Abgrenzung zu Deep Learning, Transformer und klassischem Machine Learning

Der Begriff wird häufig mit benachbarten Konzepten vermischt. Die relevanten Trennlinien:

Begriff	Rolle	Verhältnis zu Neural Network
Deep Learning	Lernen mit tiefen neuronalen Netzen	Teilmenge: neuronale Netze mit mehreren Hidden Layers und Representation Learning
Transformer	Spezifische Architektur mit Attention	Eine Familie neuronaler Netze; keine eigene Modell-Klasse
Klassisches Machine Learning	Regression, Random Forest, XGBoost	Getrennte Verfahrensklasse ohne Layer-Hierarchie, arbeitet auf handgebauten Features
Algorithmus	Mathematischer Bauplan	Das Netz wird durch einen Trainings-Algorithmus (SGD, Adam) auf Daten angepasst
Biologisches neuronales Netz	Nervensystem lebender Organismen	Namensgebende Inspiration, keine funktionale Gleichsetzung

Alle Deep-Learning-Modelle sind neuronale Netze, aber nicht jedes neuronale Netz zählt als „deep": Ein einzelnes Perzeptron oder ein Netz mit einem Hidden Layer bleibt flach. Ein Transformer ist ein neuronales Netz mit einer bestimmten Bauweise (Self-Attention, Residualverbindungen, Layer-Normalization); der Oberbegriff bleibt „Neural Network".

Gegenüber klassischen ML-Verfahren liegt die Bruchlinie beim Feature-Engineering. Regression und Gradient Boosting arbeiten auf einer vorgegebenen Feature-Matrix. Ein neuronales Netz ersetzt diesen Schritt durch Representation Learning direkt aus Rohdaten wie Pixeln, Tokens oder Audio-Samples. Für tabellarische Daten mittlerer Größe bleibt klassisches ML oft die effizientere Wahl; für unstrukturierte Modalitäten dominieren neuronale Netze.

„Algorithmus" und „Neural Network" sind keine Synonyme. Der Algorithmus (SGD, Adam) beschreibt den Trainingsvorgang; das Neural Network ist die gelernte, parametrisierte Funktion, die nach dem Training als Modell-Artefakt in einer Model-Registry liegt.

Beispiel: Bildklassifikation, Sprachmodell und Gegenbeispiel

Ein Convolutional Neural Network wie ResNet-50 verarbeitet ein Röntgenbild Schicht für Schicht. Die ersten Convolutional Layers erkennen Kanten und Texturen, mittlere Schichten lernen anatomische Strukturen wie Rippenverläufe, die letzten Schichten liefern eine Klassifikation („Pneumonie" oder „unauffällig"). Trainiert wird das Netz auf zehntausenden gelabelten Bildern; deployt als Modell-Endpoint hinter einer klinischen Anwendung.

Ein Transformer-basiertes Large Language Model wie Llama-3 oder GPT-4 ist ebenfalls ein Neural Network, aufgebaut aus 32 bis 128 Attention-Schichten mit Feedforward-Blöcken, Residualverbindungen und Layer-Normalization. Jeder Prompt-Token durchläuft die Schichten und liefert am Ende eine Wahrscheinlichkeitsverteilung über das nächste Token. Der [Attention-Mechanismus](/insights/glossar/attention-mechanism/) bestimmt dabei, welche vorherigen Tokens für den aktuellen Schritt am relevantesten sind.

Für eine Churn-Prognose auf 200.000 Kundendatensätzen mit strukturierten Merkmalen wie Vertragsalter, Umsatz und Support-Tickets liefert Gradient Boosting (XGBoost) häufig bessere Ergebnisse als ein tiefes neuronales Netz: Die Datenmenge ist zu klein für Representation Learning, und die Merkmale liegen bereits als aussagekräftige Spalten vor. Entscheidend für die Modellwahl bleiben Datenmodalität, Datenmenge und Interpretierbarkeitsanforderung.