Die Produktionsmetriken, die zeigen, dass ein Agent funktioniert

Die Task-Completion-Rate, gemessen gegen ein festes Set, denn sie beantwortet die einzige Frage, die am meisten zählt — erledigt der Agent die Aufgabe tatsächlich, end-to-end — und alles andere ist zweitrangig, bis Sie das beantworten können. Gegen ein stabiles Testset gemessen statt gegen zufällig eintreffenden Traffic, macht sie zudem stille Regressionen sichtbar: Wenn ein Modell-Upgrade oder eine Prompt-Änderung still eine Klasse von Aufgaben bricht, fällt die Completion-Zahl und Sie sehen es vor den Nutzern. Beginnen Sie dort, ergänzen Sie dann Kosten pro Aufgabe und Latenz, die zusammen sagen, was diese Completion an Geld und Zeit kostet, und schichten Sie erst danach die schwereren Qualitätsmetriken wie Genauigkeit und Halluzinationsrate darauf. Die Reihenfolge spiegelt Aufwand gegen Signal: Completion, Kosten und Latenz sind günstig zu erfassen und sofort umsetzbar, während die Qualitätsmetriken Sampling und Bewertung brauchen und die Investition lohnen, sobald die Grundlagen stehen. Der Fehler ist, mit einem aufwendigen Qualitäts-Dashboard zu beginnen, bevor man überhaupt sagen kann, ob der Agent seine Arbeit beendet.

Per Stichprobe, denn jede Live-Antwort zu bewerten ist bei Produktionsvolumen weder machbar noch bezahlbar. Nehmen Sie eine repräsentative Stichprobe von Antworten und scoren Sie sie mit einem kalibrierten Judge — oft ein LLM-as-a-Judge, gegen menschliche Labels abgestimmt —, gestützt auf regelmäßige stichprobenartige menschliche Prüfung, die den Judge ehrlich hält, und verfolgen Sie dann die resultierende Rate über die Zeit. Entscheidend ist, dass der Trend mehr zählt als jede Einzelzahl: Ein absoluter Halluzinationsprozentsatz ist isoliert schwer zu deuten, aber eine Rate, die Woche für Woche steigt, ist eine Frühwarnung, dass etwas — eine Modelländerung, eine Datenverschiebung, eine Prompt-Regression — die Fundierung verschlechtert hat. Sampeln Sie auf stabiler Basis, damit die Bewegung den Agenten widerspiegelt, nicht das Sampling. Und gewichten Sie Ihre Aufmerksamkeit nach Einsatz: Eine Halluzination, die ein Agent nur äußert, ist schlecht, aber eine, auf die er handelt, ist ein Vorfall, also sampeln Sie Ausgaben, auf die gehandelt wird, stärker. Behandeln Sie Halluzination als überwachten Trend mit menschlicher Kalibrierung, nicht als einmalige Messung.

Ja, und sie sind gerade deshalb verführerisch, weil sie leicht zu erzeugen sind und immer steigen. Läufe, verbrauchte Tokens oder getätigte Tool-Aufrufe zu zählen fühlt sich nach Messung an und füllt ein Dashboard, verfolgt aber Aktivität statt Wert — ein Agent kann mehr laufen, mehr ausgeben und mehr Tools aufrufen und dabei weniger liefern. Die Disziplin ist, jede Metrik an einem Aufgaben-Ergebnis zu verankern: erledigt, korrekt, bezahlbar, schnell, zufriedenstellend. Verbindet sich eine Zahl nicht damit, ob der Agent tatsächlich jemandem zu akzeptablen Kosten geholfen hat, gehört sie nicht auf das Dashboard, mit dem Sie Entscheidungen treffen. Das zählt für Agenten mehr als für klassische Software, weil ihre Aktivität so sichtbar und so leicht quantifizierbar ist, dass sie dazu einlädt, Bewegung statt Fortschritt zu messen. Ein nützlicher Test für jede vorgeschlagene Metrik ist die Frage, welche Entscheidung sie ändern würde; lautet die ehrliche Antwort keine, ist sie wahrscheinlich Vanity. Messen Sie Ergebnisse und lassen Sie die Aktivitätszahlen in den Traces, wo sie als Debugging-Detail hingehören.

Es gibt kein universelles Ziel, und wer eines ohne Kontext nennt, verkauft eine Zahl statt einer Antwort. Eine gute Completion-Rate hängt vollständig von der Schwierigkeit der Aufgabe ab, von ihrer Fehlertoleranz und davon, was der Rückfall ist, wenn der Agent nicht fertig wird: Ein risikoarmer Schreibassistent kann bei siebzig Prozent völlig nützlich sein, weil ein Mensch den Rest leicht abfängt, während ein Agent mit irreversiblen Aktionen unterhalb der hohen Neunziger inakzeptabel sein kann. Die richtige Art, die Metrik zu nutzen, ist daher relativ, nicht absolut. Etablieren Sie eine Baseline für Ihre konkreten Aufgaben, achten Sie dann auf Bewegung — ein Rückgang signalisiert eine Regression, ein Anstieg eine Verbesserung — und setzen Sie eine Schwelle, die an die Kosten eines Fehlers in Ihrem Kontext gebunden ist, nicht an eine Branchenzahl. Koppeln Sie die Rate mit dem, was bei den Fehlschlägen passiert: Eine hohe Completion-Rate verbirgt Risiko, wenn die Fehlschläge still und schädlich sind, während eine niedrigere in Ordnung sein kann, wenn Fehlschläge abgefangen und behandelt werden. Beurteilen Sie die Zahl an Ihrer eigenen Aufgabe und Ihrem eigenen Sicherheitsnetz, nicht an einem Benchmark.