Metryki produkcyjne, które mówią, że agent działa

Wskaźnik ukończenia zadań mierzony względem stałego zbioru, bo odpowiada na jedyne najważniejsze pytanie — czy agent faktycznie kończy robotę, end-to-end — a reszta jest wtórna, póki nie umiesz na nie odpowiedzieć. Mierzony względem stabilnego zbioru testowego, a nie przypadkowego ruchu, zamienia też ciche regresje w widoczne: gdy podmiana modelu albo zmiana promptu po cichu psuje klasę zadań, liczba ukończeń spada i widzisz to przed użytkownikami. Zacznij tam, potem dodaj koszt na zadanie i opóźnienie, które razem mówią, ile to ukończenie kosztuje w pieniądzu i czasie, a dopiero potem dołóż trudniejsze metryki jakości, jak trafność i wskaźnik halucynacji. Kolejność odzwierciedla stosunek wysiłku do sygnału: ukończenie, koszt i opóźnienie są tanie do przechwycenia i od razu użyteczne, a metryki jakości wymagają próbkowania i oceny i są warte inwestycji, gdy podstawy już stoją. Błędem jest zaczynać od rozbudowanego dashboardu jakości, zanim w ogóle umiesz powiedzieć, czy agent kończy swoją pracę.

Próbkujesz, bo ocena każdej odpowiedzi na żywo nie jest ani wykonalna, ani przystępna przy produkcyjnym wolumenie. Weź reprezentatywną próbkę odpowiedzi i punktuj ją skalibrowanym sędzią — często LLM-jako-sędzia dostrojonym do etykiet człowieka — wspartym okresowym wyrywkowym przeglądem ludzkim, który trzyma sędziego w ryzach, a potem śledź wynikowy wskaźnik w czasie. Kluczowe jest to, że trend liczy się bardziej niż pojedyncza liczba: bezwzględny procent halucynacji trudno zinterpretować w oderwaniu, ale wskaźnik rosnący tydzień po tygodniu to wczesne ostrzeżenie, że coś — zmiana modelu, przesunięcie danych, regresja promptu — pogorszyło ugruntowanie. Próbkuj na stałej podstawie, by ruch odzwierciedlał agenta, nie próbkowanie. I waż uwagę stawką: halucynacja, którą agent tylko wypowiada, jest zła, ale ta, na której działa, to incydent, więc mocniej próbkuj wyjścia, na których się działa. Traktuj halucynacje jako monitorowany trend z kalibracją człowieka, nie jednorazowy pomiar.

Tak, a kuszą właśnie dlatego, że łatwo je wyprodukować i zawsze rosną. Liczenie przebiegów, zużytych tokenów czy wykonanych wywołań narzędzi sprawia wrażenie pomiaru i wypełnia dashboard, ale śledzi aktywność, nie wartość — agent może więcej biegać, więcej wydawać i więcej wywoływać narzędzi, dowożąc mniej. Dyscyplina to zakotwiczyć każdą metrykę w wyniku zadania: ukończone, poprawne, przystępne, szybkie, satysfakcjonujące. Jeśli liczba nie wiąże się z tym, czy agent faktycznie komuś pomógł przy akceptowalnym koszcie, nie należy do dashboardu, na którym podejmujesz decyzje. Liczy się to bardziej dla agentów niż dla tradycyjnego oprogramowania, bo ich aktywność jest tak widoczna i tak łatwa do skwantyfikowania, że zaprasza do mierzenia ruchu zamiast postępu. Użyteczny test dla każdej proponowanej metryki to spytać, jaką decyzję by zmieniła; jeśli uczciwą odpowiedzią jest żadna, to prawdopodobnie próżność. Mierz wyniki, a liczby aktywności zostaw w traces, gdzie należą jako szczegół debugowania.

Nie ma uniwersalnego celu, a kto podaje jeden bez kontekstu, sprzedaje liczbę, nie odpowiedź. Dobry wskaźnik ukończenia zależy w całości od trudności zadania, jego tolerancji na porażkę i tego, co jest awaryjną alternatywą, gdy agent nie skończy: asystent do szkiców o niskiej stawce może być w pełni użyteczny przy siedemdziesięciu procentach, bo człowiek łatwo wyłapie resztę, a agent podejmujący nieodwracalne działania może być nie do przyjęcia poniżej wysokich dziewięćdziesiątek. Właściwy sposób użycia metryki jest więc względny, nie bezwzględny. Ustal punkt odniesienia dla swoich konkretnych zadań, potem wypatruj ruchu — spadek sygnalizuje regresję, wzrost poprawę — i ustaw próg powiązany z kosztem porażki w Twoim kontekście, a nie z liczbą branżową. Połącz wskaźnik z tym, co dzieje się przy pudłach: wysoki wskaźnik ukończenia ukrywa ryzyko, jeśli porażki są ciche i szkodliwe, a niższy może być w porządku, jeśli porażki są łapane i obsługiwane. Oceniaj liczbę względem własnego zadania i własnej siatki bezpieczeństwa, nie benchmarku.