LLM jako sędzia: skalibruj, zanim mu zaufasz

Około 100–200 starannie oznaczonych, reprezentatywnych przykładów to dobry punkt startu dla większości zadań, a nacisk pada na reprezentatywne i staranne, nie na surową liczbę. Przykłady powinny objąć realny zakres wyjść, które każesz sędziemu oceniać, w tym przypadki na styk i tryby awarii, na których Ci zależy, bo sędzia zgadzający się z Tobą na łatwych przypadkach, a rozjeżdżający się na trudnych, nie jest skalibrowany tam, gdzie to ważne. Oznacz je według tej samej jawnej rubryki, której użyje sędzia, odpal sędziego na zbiorze i zmierz zgodność statystyką taką jak kappa Cohena, celując w mniej więcej 0,6 lub wyżej, zanim na nim polegniesz na skalę. Jeśli zgodność jest niska, przejrzyj rozbieżności: zwykle ujawniają niejednoznaczną rubrykę, obciążony prompt sędziego albo niespójne oceny ludzi, a poprawa rubryki często pomaga bardziej niż dokładanie przykładów. Sprawdzaj okresowo, bo podmiana modelu potrafi po cichu ruszyć zachowanie sędziego i unieważnić kalibrację sprzed kwartału.

Trzy są na tyle dobrze udokumentowane, by domyślnie projektować pod nie obronę. Bias pozycji to skłonność do faworyzowania opcji pokazanej pierwszą lub ostatnią niezależnie od treści; zwalczasz go, losując kolejność opcji przy każdym porównaniu, a przy ważnych bramkach uśredniając wynik po obu kolejnościach. Bias rozwlekłości to skłonność do wyżej oceniania dłuższych odpowiedzi tylko za długość; zwalczasz go, oceniając względem jawnej rubryki i karząc lub normalizując wypełniacze, by długość sama z siebie nic nie dawała. Samowywyższanie to skłonność do preferowania wyjść pisanych własnym stylem sędziego, szczególnie groźna, gdy model ocenia bliźniaka z tej samej rodziny; obroną jest ocena międzyrodzinowa, gdy inna rodzina modeli ocenia tę badaną. U podstaw wszystkich trzech leży to samo lekarstwo: zastąp mgliste polecenia oceny od jednego do dziesięciu jawnymi kryteriami i opracowanymi przykładami, bo im więcej zostawisz gustowi sędziego, tym bardziej jego biasy wypełnią lukę.

Może, a przy ocenie o niskiej stawce i dużym wolumenie często jest w pełni w porządku, ale samowywyższanie czyni to ryzykownym przy każdym porównaniu, które bramkuje decyzję. Problem w tym, że model skłania się ku wyjściom pisanym własnym stylem, więc oceniając bliźniaka z tej samej rodziny, może nagradzać znajomość, a nie jakość, po cichu przechylając wynik. Dla ważnych bramek bezpieczniejszym wyborem jest ocena międzyrodzinowa: niech inna rodzina modeli ocenia tę badaną, co stępia bias, bo sędzia nie ma stylistycznego udziału w wyjściu. Jeśli musisz użyć tego samego modelu — dla kosztu lub prostoty — przynajmniej zweryfikuj, że ocena tym samym modelem nadal zgadza się z ocenami ludzi na Twoim zbiorze kalibracyjnym, i obserwuj zgodność w czasie. Praktyczny kompromis to ten sam model do taniego, częstego przesiewu, a inna rodzina plus wyrywkowe sprawdzenia ludzi do porównań wysokiej stawki, które faktycznie przesądzają o wydaniu.

Zależy od pytania, na które odpowiadasz, a większość dojrzałych układów używa obu do różnych zadań. Ocena punktowa ocenia pojedyncze wyjście względem rubryki na skali bezwzględnej, czego chcesz, gdy potrzebujesz progu — czy ta odpowiedź jest dość dobra, by ją wysłać — i gdy śledzisz metrykę w czasie na stałym zbiorze. Ocena parami pokazuje sędziemu dwa wyjścia i pyta, które jest lepsze, co jest pewniejsze przy porównywaniu dwóch modeli, dwóch promptów lub dwóch wersji, bo osądy względne są dla modelu łatwiejsze i bardziej spójne niż bezwzględne. Wymiana jest taka, że ocenę parami trudniej zamienić w jedną liczbę i jest bardziej narażona na bias pozycji, więc musisz losować kolejność, a punktowa mocno zależy od dobrze zakotwiczonej rubryki, by była stabilna. Częsty wzorzec to parami do wyboru między kandydatami w rozwoju i punktowo do produkcyjnej bramki, która musi dać zalicza albo nie względem poprzeczki. Wybierz tryb pasujący do decyzji i skalibruj ten, który wybierzesz.