Agent Evaluation bezeichnet den strukturierten Prüfprozess, mit dem Qualität, Zuverlässigkeit und Sicherheit eines KI-Agenten (Software, die mit einem Sprachmodell Aufgaben plant und externe Werkzeuge aufruft) gemessen werden. Grundlage sind eine eigene Beispiel-Sammlung, festgelegte Kennzahlen und wiederholbare Testläufe. Der Prozess umfasst eine Prüfung vor dem Live-Gang, wiederholte Kontroll-Läufe bei jeder Änderung am Agenten sowie laufende Stichproben im echten Betrieb.
Was ist Agent Evaluation?
Agent Evaluation entsteht aus einer schlichten Beobachtung: Ein Agent, der auf einem Sprachmodell (Large Language Model, LLM) basiert, liefert nie exakt dieselbe Antwort und ruft seine Werkzeuge in wechselnder Reihenfolge auf. Klassische Software-Tests, die auf feste Soll-Werte prüfen, greifen dabei zu kurz. Der Prüfprozess muss zwei Ebenen abdecken: das Endergebnis (hat der Agent die Aufgabe gelöst) und den Weg dorthin (hat er die richtigen Werkzeuge mit den richtigen Angaben in einer sinnvollen Reihenfolge aufgerufen).
Ein Agent-Evaluation-Setup besteht aus vier Bausteinen. Erstens ein Eval-Dataset: eine kuratierte Menge an Eingaben mit erwarteten Ergebnissen oder qualitativen Rubrics. Zweitens ein Metrik-Set: Task-Success-Rate, Faithfulness (Antwort im Retrieval-Kontext belegt), Tool-Correctness (korrekter Tool-Aufruf mit korrekten Argumenten), Answer-Relevance, Latenz und Kosten pro Query. Drittens ein Judge: regel-basiert (deterministische Checks), modell-basiert (LLM-as-a-Judge) oder menschlich (Human-Review). Viertens ein Runner: ein wiederholbarer, versionierter Lauf, dessen Ergebnisse zwischen zwei Ständen vergleichbar bleiben.
Der Prozess läuft in drei zeitlichen Phasen. Offline-Evaluation vor dem Rollout gegen ein Golden-Set aus repräsentativen Eingaben. Regressions-Evaluation bei jeder Änderung an Prompt, Modell oder Tool-Definition, damit eine neue Version bekannte Fälle nicht schlechter löst als der Vorgänger. Online-Evaluation im Betrieb: eine Stichprobe des Live-Traffics wird erneut bewertet, oft ergänzt um Human-in-the-Loop auf einem kleinen Anteil. Etablierte Frameworks für diese Bausteine sind unter anderem [Databricks Mosaic AI Agent Evaluation](https://www.databricks.com/blog/what-is-agent-evaluation), [DeepEval](https://deepeval.com/guides/guides-ai-agent-evaluation), [LangSmith](https://www.langchain.com/blog/how-we-build-evals-for-deep-agents), [Ragas](https://docs.ragas.io/) und [Arize Phoenix](https://arize.com/ai-agents/agent-evaluation/).
Abgrenzung zu Agent Benchmarks, LLM-as-a-Judge und Observability
Agent Evaluation wird häufig mit angrenzenden Prüfverfahren gleichgesetzt. Die Begriffe messen unterschiedliche Dinge und sitzen an unterschiedlichen Stellen im Lebenszyklus.
| Verfahren | Was wird gemessen? | Wo passt es? |
|---|---|---|
| Agent Evaluation | Erfolg auf eigenem Dataset, inklusive Regression und Live-Stichprobe | Produktions-Freigabe und laufende Qualitätskontrolle |
| Agent Benchmarks | Erfolg auf öffentlichem, standardisiertem Aufgaben-Set | Modellauswahl und generationsübergreifender Vergleich |
| LLM-as-a-Judge | Qualitative Bewertung durch ein Modell (Tonalität, Faithfulness, Hilfsbereitschaft) | Bewertungs-Technik innerhalb der Agent Evaluation |
| Agent Observability | Live-Metriken aus dem Betrieb (Latenz, Kosten, Tool-Fehlerraten) | Betrieb der ausgerollten Anwendung |
| Agent Tracing | Aufzeichnung der Ausführungs-Traces (Reasoning-Schritte, Tool-Calls) | Rohdaten-Basis für Debugging und Online-Eval |
Agent Benchmarks sind eine Zutat der Agent Evaluation, ersetzen sie aber nicht: Der Benchmark-Score misst gegen ein öffentliches Set, die Evaluation gegen das eigene Aufgaben-Profil. LLM-as-a-Judge ist keine Alternative, sondern eine der drei Judge-Formen innerhalb der Evaluation. Observability und Tracing liefern Signal aus dem Betrieb, treffen selbst aber kein Qualitätsurteil.
Beispiel: Freigabe eines RAG-Wissensassistenten
Ein interner Wissensassistent auf einem Retrieval-Augmented-Generation-Stack durchläuft vor dem Rollout ein Eval-Dataset aus 250 kuratierten Fragen mit Referenz-Antworten. Gemessen werden vier Kennzahlen: Task-Success-Rate über einen LLM-Judge, Faithfulness (jede Antwort muss im Retrieval-Kontext belegt sein), Retrieval-Recall (relevante Chunks im Top-K) und die Antwort-Latenz. Erst wenn die Success-Rate über einem definierten Schwellenwert liegt und die Faithfulness keine erfundenen Aussagen zulässt, geht die Version in Produktion.
Bei jeder Änderung an Prompt, Retrieval-Konfiguration oder zugrundeliegendem Modell läuft dieselbe Suite als Regressions-Check. Nach dem Rollout wird ein Anteil des Live-Traffics (etwa fünf Prozent) mit einem zweiten Judge und einem stichprobenhaften Human-Review erneut bewertet, um Drift und neue Fehler-Muster früh zu erkennen. Die Evaluations-Ergebnisse laufen in MLflow oder LangSmith als versionierte Läufe und lassen sich zwischen zwei Modellständen direkt vergleichen.
Agent Evaluation im eigenen Unternehmen umsetzen?
Wir zeigen, wie sich das in deiner Systemlandschaft konkret abbilden lässt.
Datasets, Regression-Suiten und Production-Eval im Detail
Agentic AIPillar zum agentischen KI-Operating-Model, in dem Evaluation sitzt
Agent BenchmarksSWE-bench, GAIA, τ-Bench als externe Referenzgröße
Agent ObservabilityLive-Metriken aus dem produktiven Betrieb
LLM-as-a-JudgeBewertungs-Technik innerhalb der Evaluation