FinOps for AI: Definition und Kennzahlen der KI-Kosten

FinOps for AI ist die Management-Disziplin, die die Kosten von KI-Anwendungen (etwa Chatbots, Sprachmodelle wie GPT oder Claude und selbstständig handelnde Software-Agenten) sichtbar, zurechenbar und steuerbar macht. Sie überträgt das Prinzip von Cloud-FinOps (Cloud-Verbrauch pro Team und Produkt transparent machen) auf die besonderen Kostenmuster von KI: Preise pro verarbeiteter Text-Einheit (Token), Auslastung teurer Grafik-Prozessoren (GPU), die Auswahl des passenden Modells je Anfrage und die Leit-Kennzahl Cost per Outcome (Kosten pro erfolgreichem Geschäftsvorgang).

Was ist FinOps for AI?

FinOps for AI ist der organisatorische Rahmen, in dem KI-Kosten sichtbar, zurechenbar und steuerbar werden. Die Disziplin verbindet drei Ebenen. Auf der Berichts-Ebene wird zugeordnet, welches Team, Produkt oder welcher Anwendungsfall welche Kosten verursacht, meist über einheitliche Etiketten (Tags) an einzelnen Nutzungs-Vorgängen (Sessions) und Schnittstellen (Endpoints). Auf der Steuerungs-Ebene liegen die technischen Hebel: welches Modell wird für welche Anfrage genommen, wie sind die Anweisungen an das Modell (Prompts) formuliert, werden häufige Antworten zwischengespeichert (Caching), können Aufgaben gesammelt nachts verarbeitet werden (Batch), wie gut sind die Grafik-Prozessoren ausgelastet. Auf der Governance-Ebene stehen die Regeln: Budgets pro Anwendung, Obergrenzen für Anfrage-Mengen (Rate-Limits), Freigabe-Prozesse für teure Modelle und Verteilungs-Regeln für gemeinsam genutzte Schnittstellen.

Die Disziplin wird als eigene Kategorie geführt, weil Cloud-FinOps primär mit stabilen Rechnungseinheiten arbeitet (vCPU-Stunden, Storage-GB, Netzwerk), während KI-Workloads volatile Kostenmuster erzeugen: variable Token-Preise pro Modell, Retry-Loops nach Fehl-Antworten, wachsende Kontext-Fenster, teure Werkzeug-Aufrufe und schwer vorhersehbare Nutzer-Prompts. Die FinOps Foundation führt FinOps for AI seit 2025 als eigene Technology-Kategorie im Framework, Gartner ordnet die Disziplin im Kosten-Governance-Modell neben Cloud-FinOps ein.

Die zentralen Kennzahlen der Disziplin sind Cost per Outcome (Kosten pro erfolgreichem Geschäftsvorgang, dominante Leit-Kennzahl), Cost per Token, Cost per Task oder Run, GPU-Auslastung, Cache-Hit-Rate und der Anteil erfolgreicher Sessions. Voraussetzung für belastbare Steuerung sind ein Kosten-Tracing pro Session, eine einheitliche Tagging-Konvention, Budget- und Alarm-Grenzen pro Anwendung sowie ein maschinen-prüfbares Outcome-Kriterium für die Erfolgs-Kennzahl.

Abgrenzung zu Cloud-FinOps, AI Governance und Nachbar-Begriffen

Vier Nachbar-Begriffe werden häufig mit FinOps for AI verwechselt.

Begriff	Was er umfasst	Verhältnis zu FinOps for AI
Klassisches FinOps (Cloud)	Kosten-Steuerung stabiler Rechnungseinheiten (Compute, Storage, Netzwerk) über Reserved Plans, Rightsizing, Idle-Reduktion	Übergeordneter Rahmen; FinOps for AI erweitert ihn um Token-Ökonomie, Modell-Auswahl und Cost per Outcome
Cost per Outcome	Kosten pro erfolgreichem Geschäftsvorgang eines KI- oder Agenten-Systems	Zentrale Leit-Kennzahl innerhalb von FinOps for AI, keine Disziplin für sich
AI Governance / Model Governance	Regeln, welche Modelle mit welchen Daten eingesetzt werden dürfen, Eval-Standards, Risiko-Bewertung	Fachliche und rechtliche Seite; FinOps for AI regelt die kaufmännische Seite derselben Modell-Entscheidungen
LLM Cost Management / Token-Ökonomie	Technische Hebel für Modellkosten (Routing, Prompt-Design, Caching)	Technische Teildisziplin innerhalb von FinOps for AI, ohne Governance- und Reporting-Anteil

Der Unterschied zu Cloud-FinOps liegt im Kostenmuster. Cloud-FinOps rechnet mit vorhersehbaren Einheiten und stabilen Preisen; FinOps for AI muss variable Modellpreise, unklare Erfolgs-Quoten und wachsende Kontexte einpreisen. Der Unterschied zu AI Governance liegt in der Achse: Governance regelt „darf das Modell eingesetzt werden", FinOps regelt „was kostet der Einsatz und wem wird er zugeordnet". Beide Disziplinen greifen ineinander, weil Governance-Regeln das Modell-Portfolio einschränken, in dem FinOps-Hebel überhaupt wirken.

Beispiel: FinOps for AI in einer geteilten KI-Umgebung

Ein Unternehmen betreibt einen Support-Agent und einen internen Wissens-Assistenten auf einer geteilten Modell- und Retrieval-Infrastruktur. FinOps for AI schafft dort drei Ergebnisse. Erstens die Kosten-Attribution über Session-Tags: Support und Wissens-Team sehen ihren Kostenanteil in der monatlichen Abrechnung, gemeinsam genutzte Endpoints werden nach Session-Anteil verteilt. Zweitens die Steuerungs-Hebel: Modell-Routing auf ein kleineres Modell für Standard-Anfragen, Prompt-Caching für wiederkehrende System-Prompts, Batch-Verarbeitung für nächtliche Klassifikations-Jobs, provisioned Throughput bei planbarer Grundlast. Drittens die Kennzahlen-Berichte pro Anwendung mit Cost per Outcome, Cost per Token und GPU-Auslastung, jeweils mit Budget-Alarmen. Die klassische Cloud-FinOps-Sicht (Compute-Stunden, Storage) läuft parallel weiter und wird über gemeinsame Tags konsolidiert.