LLM Security

LLM Security (Sicherheit von Large Language Models, also großen KI-Sprachmodellen) bezeichnet die Sicherheits-Disziplin, die das Sprachmodell selbst als Angriffsfläche behandelt: die Trainingsdaten (womit das Modell gelernt hat), die Gewichte (die gelernten Parameter des Modells), die Ausgaben und den Weg der Daten durch das Modell zur Laufzeit. Sie ergänzt die Sicherheit auf der Eingabe-Ebene (Schutz vor manipulierten Nutzer-Eingaben) und auf der Handlungs-Ebene (Schutz vor unerlaubten Aktionen eines KI-Agenten) um die Ebene, auf der die Auswahl, das Inventar und die Freigabe eines Modells zur Sicherheits-Entscheidung werden.

Was ist LLM Security?

LLM Security ist die unterste Schicht in einem dreistufigen Sicherheits-Aufbau rund um KI-Anwendungen mit Sprachmodellen. Die Eingabe-Ebene filtert, was Nutzer an das Modell schicken, und verteidigt gegen manipulierte Prompts (sogenannte Prompt Injections) und Umgehungs-Versuche (Jailbreaks). Die Handlungs-Ebene regelt, was ein KI-Agent anschließend tun darf: welche externen Werkzeuge er aufrufen kann, unter welcher Identität, mit welchen Berechtigungen. LLM Security setzt eine Ebene tiefer an und behandelt das Modell selbst als kontrolliertes Objekt: mit welchen Daten es trainiert wurde, wo es betrieben wird, wer Zugriff auf seine Parameter oder die zur Laufzeit verarbeiteten Daten hat und welchen Vertrag der Anbieter zusichert.

Der Begriff wurde ab 2020/2021 mit den ersten Memorization-Studien von [Carlini et al.](https://arxiv.org/abs/2012.07805) empirisch unterfüttert, die zeigten, dass sich aus großen Sprachmodellen verbatim Trainingsdaten extrahieren lassen. Seitdem hat sich das Risikobild erweitert: Model Stealing über API-Abfragen, Backdoor-Attacks im Fine-Tuning, Adversarial Examples auf Embedding-Ebene und Supply-Chain-Vorfälle bei Modell-Hubs. OWASP hat mit LLM02 (Sensitive Information Disclosure), LLM04 (Data and Model Poisoning), LLM05 (Improper Output Handling) und LLM10 (Unbounded Consumption) die zentralen Modell-Ebenen-Risiken in die [OWASP LLM Top 10](https://genai.owasp.org/) aufgenommen; [MITRE ATLAS](https://atlas.mitre.org/) katalogisiert die dazugehörigen Angriffsmuster gegen ML-Systeme.

Fünf Hebel tragen ein produktives LLM-Security-Setup. Der erste ist die Modell-Auswahl als Sicherheits-Entscheidung entlang Data Processing Agreement, Modell-Karte und Eval-Profil. Der zweite ist das Modell-Inventar mit Name, Version, Hash der Gewichte, Hosting-Region, DPA-Status, Owner, Anwendungs-Mapping und Lifecycle-Status. Der dritte ist eine wiederholbare Eval-Suite vor Freigabe (Memorization-Probe, Bias-Probe, Halluzinations-Profil auf realen Beispielen aus dem Anwendungsfall). Der vierte ist die DPA-Prüfung mit Zero Data Retention, Trainings-Opt-out und Region-Klausel; der fünfte ist Supply-Chain-Hygiene bei Open-Weights über Signatur-Prüfung, kontrollierten Mirror und ein SBOM-Pendant für Modelle.

Regulatorisch flankieren mehrere Referenzen die Kategorie: EU AI Act Artikel 15 fordert Cybersecurity-Maßnahmen für Hochrisiko-KI-Systeme, ISO/IEC 42001 verlangt ein strukturiertes AI-Management-System, und das NIST AI RMF liefert den Risiko-Rahmen. Fine-Tuning verstärkt Memorization messbar gegenüber dem Pre-Training, weil das Trainings-Set kleiner und die Wiederholungsrate höher ist; PII oder Geschäftsgeheimnisse aus dem Fine-Tuning-Set können in den Antworten anderer Nutzer auftauchen, sobald das Modell mandantenübergreifend eingesetzt wird.

Abgrenzung zu Agent Security, Agentic AI Security und AI Safety

Die Sicherheits-Begriffe rund um LLMs liegen auf unterschiedlichen Ebenen und lösen unterschiedliche Fragen. Verwechslungen führen dazu, dass ein Hebel für einen anderen gehalten wird oder ein Werte-Frame mit einer technischen Disziplin gleichgesetzt wird.

Agent Security setzt eine Ebene über LLM Security an und regelt, was mit einer Modell-Ausgabe passiert, sobald sie zu einem Tool-Aufruf wird. LLM Security härtet das Modell selbst, entscheidet aber nicht, welche Aktion daraus folgt. Prompt-Security und Jailbreak Defense filtern den Eingabekanal; sie verhindern viele Manipulationen zur Laufzeit, adressieren aber weder Trainingsdaten-Memorization noch Supply-Chain-Risiken bei Open-Weights noch Vertragslücken bei API-Anbietern. Ein perfekt gefilterter Prompt hilft wenig, wenn das Modell trainingsbedingt PII enthält oder der Anbieter laut Vertrag auf Anfragen weitertrainiert.

Agentic AI Security ist die Gartner-Marktkategorie über das Gesamt-Operating-Model autonomer Agenten (Bedrohungsmodell, Mitigation-Schichten, Anbieter-Landschaft); LLM Security ist eine der Mitigation-Schichten innerhalb dieses Rahmens, konkret die Modell-Ebene. AI Safety ist ein anderer Diskurs: Er behandelt Alignment, Ehrlichkeit, Zielausrichtung und langfristige Auswirkungen fortgeschrittener KI-Systeme (Anthropic-Forschung, OpenAI-Superalignment, EU AI Act als Werte-Rahmen). LLM Security ist praktische Sicherheits-Disziplin auf Modell-Ebene mit Inventar, Eval-Suite und DPA-Prüfung, kein ethischer Bewertungs-Frame.

Beispiel: Modell-Inventar und Eval-Gate vor Freigabe

Ein Unternehmen setzt ein Foundation-Modell für einen internen Assistenten ein. Ohne LLM Security bleibt unklar, welches Modell in welcher Version tatsächlich bedient, ob das DPA Zero Data Retention zusichert, in welcher Region Anfragen landen und ob Fine-Tuning-Daten mandantenübergreifend eingesetzt werden. Ein Audit fragt nach dem Modell-Inventar; es existiert nicht. Die Anwendung läuft auf Vertrauen in Guardrails, die aber keine Memorization- oder Supply-Chain-Risiken adressieren.

Mit LLM Security sieht dasselbe Setup anders aus. Das Modell-Inventar enthält pro Anwendung Modell-Identität (Name, Version, Hash der Gewichte bei Open-Weights, API-Endpoint bei API-Modellen), Hosting (Region, Cloud, Netzwerk-Pfad), DPA-Status (Zero Data Retention, Trainings-Opt-out, Log-Retention), Eval-Profil (welche Probes gelaufen sind, Datum, Ergebnis, wer freigegeben hat), Owner und Anwendungs-Mapping. Vor jeder Freigabe läuft eine wiederholbare Eval-Suite: eine Memorization-Probe auf domänenspezifische Begriffe, eine Bias-Probe auf die Entscheidungs-Klassen der Anwendung und ein Halluzinations-Profil auf 50–100 reale Beispiele. Bei Open-Weights kommen Signatur-Prüfung des Downloads und ein Modell-SBOM hinzu. Jede neue Modell-Version durchläuft die Suite erneut, das Ergebnis wird dokumentiert. Der Audit-Trail für EU AI Act und ISO 42001 entsteht als Nebenprodukt des Freigabe-Gates.