Agent Routing

Agent Routing bezeichnet die Entscheidung, welcher Agent (spezialisiertes KI-Programm), welches Sprachmodell oder welches Werkzeug eine eingehende Anfrage bearbeitet, wenn mehrere Agenten zur Verfügung stehen. Ein eigener Router trifft diese Verteilungs-Entscheidung und delegiert bei jeder neuen Nutzer-Eingabe erneut, statt die Aufgabe selbst zu bearbeiten.

Was ist Agent Routing?

Agent Routing ist die Verteilungs-Schicht in einem System mit mehreren Agenten. Sobald mehr als ein Agent, mehrere Sprachmodelle (LLMs, die Large Language Models hinter Anwendungen wie ChatGPT) oder unterschiedliche Werkzeuge zur Verfügung stehen, entsteht die Frage, wer den nächsten Schritt übernimmt. Der Router beantwortet genau diese Frage: Er liest die Eingabe (die Anfrage des Nutzers, den aktuellen Bearbeitungsstand oder das Ergebnis eines vorherigen Werkzeug-Aufrufs) und wählt aus einer Liste möglicher Kandidaten den passenden Ziel-Agenten oder das passende Modell aus. Der Router selbst bearbeitet die Aufgabe nicht; er verteilt sie nur.

Vier Bauarten dominieren die Routing-Ebene. Beim statischen Routing ist die nächste Übergabe im Code fest verdrahtet; das entspricht der Kante in einer sequentiellen Pipeline. Regelbasiertes Routing nutzt einen Entscheidungsbaum oder einen kleinen Klassifikator, um die Eingabe einer Klasse zuzuordnen; die Entscheidung läuft ohne LLM-Aufruf und ist günstig sowie vorhersagbar. LLM-gesteuertes Routing lässt ein Sprachmodell im Supervisor-Prompt oder in einem eigenen Router-Prompt entscheiden; das ist die flexibelste Variante und Standard in LangGraph Multi-Agent sowie in der handoff-Mechanik des OpenAI Agents SDK. Ein kleines dediziertes Router-Modell ist eine eigene Komponente außerhalb des Supervisor-Prompts, häufig ein günstiges Klassifikationsmodell; es macht Routing-Entscheidungen im Tracing sichtbar und ersetzbar.

Der Begriff wird auf zwei Ebenen verwendet. Agent-Routing wählt aus, welcher Agent den nächsten Schritt macht. Model-Routing wählt aus, welches Modell einen Prompt bearbeitet, meist Kosten-getrieben: Ein starkes Modell übernimmt komplexe Fälle, ein günstiges Modell die Standardfälle. Beide Ebenen greifen auf dieselben Bauarten zurück und lassen sich in derselben Router-Komponente kombinieren.

Warum die Routing-Ebene einen eigenen Namen bekommt: Prompt-basiertes Routing im Supervisor-Prompt entgleist bei wachsendem Volumen. Die Entscheidungen werden intransparent, das Tracing wird schwierig, und die Token-Kosten pro Turn steigen. Ein eigenständiger Router-Layer macht die Verteilungs-Entscheidung testbar und erlaubt es, das Router-Modell unabhängig von den Fach-Agenten zu tauschen. Anthropic beschreibt Routing als eines der fünf agentischen Workflow-Muster (Router-Pattern).

Abgrenzung zu Handoff, Orchestration und Load-Balancing

Der Begriff wird in der Diskussion häufig mit angrenzenden Kontrollfluss-Konzepten vermischt. Die folgende Tabelle ordnet die Unterschiede ein:

Der Kern-Unterschied zwischen Routing und Handoff liegt im Verbleib des Führenden. Beim Routing bleibt der Router aktiv und trifft im nächsten Turn erneut eine Entscheidung. Beim Handoff verlässt der übergebende Agent den aktiven Kontext, der Ziel-Agent übernimmt die Führung. Routing ist die Verteilungs-Frage, Handoff die Übergabe-Mechanik.

Agent Orchestration ist die Ebene darüber. Sie umfasst vier Bausteine (Plan-Phase, Topologie, Routing und State-Modell) und koordiniert das Zusammenspiel mehrerer Agenten. Routing ist einer dieser vier Bausteine und damit Teil der Orchestrierung, keine parallele Ebene daneben.

Ein Load-Balancer verteilt Anfragen auf identische Instanzen desselben Dienstes zur horizontalen Skalierung. Agent Routing verteilt dagegen auf unterschiedlich spezialisierte Agenten oder Modelle mit anderen Fähigkeiten. Die Entscheidung ist semantisch (Was ist die Anfrage?) und damit inhaltsgetrieben statt kapazitätsgetrieben.

Beispiel: Ticket-Routing mit dediziertem Klassifikationsmodell

Ein Customer-Service-System bearbeitet eingehende Tickets über einen dedizierten Router. Ein kleines Klassifikationsmodell außerhalb des Supervisor-Prompts liest den Ticket-Text, erkennt den Intent (Bestellstatus, Reklamation, Refund, Beschwerde, unklar) und delegiert an den passenden Fach-Agenten. Die eigentliche Bearbeitung übernimmt der Ziel-Agent; der Router übergibt lediglich Ticket-ID, Kunden-ID und den vollständigen Text.

Für offene Fälle ohne klare Intent-Klasse delegiert der Router an einen generischen Sachbearbeiter-Agenten, der reaktiv weiterarbeitet. Der Aufbau als eigenständige Komponente hat zwei Effekte: Die Routing-Entscheidung ist im Tracing (LangSmith, Langfuse, Arize Phoenix) pro Turn sichtbar, und das Klassifikationsmodell lässt sich unabhängig vom Sprachmodell der Fach-Agenten tauschen. Bei jedem neuen Turn desselben Tickets fällt eine neue Routing-Entscheidung, weil sich der Zustand verändert haben kann.