Słownik AgentOps

AgentOpsObserwowalność

AgentOps to zestaw praktyk operacyjnych do prowadzenia autonomicznych agentów AI na produkcji: obserwowalność, monitoring, kontrola kosztów, niezawodność, bezpieczeństwo i ład. Rozszerza MLOps i LLMOps na systemy, które planują, wywołują narzędzia i działają wielokrokowo przy ograniczonym udziale człowieka.

CheckpointingOrkiestracja

Checkpointing zapisuje stan agenta w wybranych punktach wykonania, aby uruchomienie można było wstrzymać, wznowić, cofnąć lub odzyskać po awarii. Jest podstawą trwałych, długo działających agentów i kroków akceptacji przez człowieka, pozwalając kontynuować pracę bez startu od zera.

EU AI ActŁad i zgodność

EU AI Act to oparte na ryzyku rozporządzenie Unii Europejskiej dotyczące sztucznej inteligencji. Wprowadza obowiązki etapami według poziomu ryzyka, w tym obowiązki transparentności z Art. 50, które stają się egzekwowalne 2 sierpnia 2026 r. i wpływają na to, jak agenci muszą ujawniać udział AI.

Excessive agencyBezpieczeństwo

Nadmierne uprawnienia (excessive agency) to ryzyko, że agent ma więcej uprawnień, autonomii lub dostępu do narzędzi, niż wymaga jego zadanie. Przy wykorzystaniu lub błędzie szerokie uprawnienia sprawiają, że jedna zła decyzja powoduje nieproporcjonalne szkody — np. usunięcie danych czy przelew środków.

GuardrailsNadzór człowieka

Guardrails to mechanizmy działające w czasie wykonania, które ograniczają to, co agent może przyjąć, wytworzyć lub zrobić. Guardrails wejścia filtrują prompty, wyjścia sprawdzają odpowiedzi, a behawioralne blokują niedozwolone akcje narzędzi — razem tworzą warstwę bezpieczeństwa wokół modelu.

HallucinationEwaluacja

Halucynacja to wynik, który jest płynny i pewny, lecz faktycznie błędny lub niepoparty. U agentów jest szczególnie groźna, bo zmyślony fakt może wywołać realne działanie narzędzia, dlatego do jej wykrywania i ograniczania stosuje się grounding, weryfikację i ewaluacje.

HOOTLNadzór człowieka

Human-out-of-the-loop (HOOTL) opisuje w pełni autonomiczne działanie, w którym agent działa bez bieżącego udziału człowieka. Daje maksymalną przepustowość przy najwyższym ryzyku, dlatego rezerwuje się je dla zadań o niskiej stawce, dobrze ograniczonych, z mocnymi guardrails i audytem po fakcie.

Human-in-the-loop (HITL)Nadzór człowieka

Human-in-the-loop oznacza, że człowiek musi zatwierdzić krytyczne działania, zanim agent je wykona. Maksymalizuje kontrolę i rozliczalność kosztem przepustowości i bywa wymagany dla kroków wysokiego ryzyka w świetle powstających reguł ładu AI.

Human-on-the-loop (HOTL)Nadzór człowieka

Human-on-the-loop oznacza, że człowiek nadzoruje agenta i może interweniować lub go zatrzymać, ale nie zatwierdza z góry każdego działania. Oddaje część kontroli za wyższą przepustowość i pasuje do procesów średniego ryzyka z solidnym monitoringiem i wyłącznikiem bezpieczeństwa.

ISO 42001Ład i zgodność

ISO/IEC 42001 to międzynarodowa norma systemu zarządzania AI (AIMS). Daje organizacjom certyfikowalne ramy polityk, ról, kontroli ryzyka i ciągłego doskonalenia do odpowiedzialnego tworzenia i prowadzenia AI, w tym systemów agentowych.

LLM-as-a-judgeEwaluacja

LLM-as-a-judge wykorzystuje model językowy do oceniania lub porównywania wyjść agenta względem kryteriów. Tanio skaluje ewaluację, ale wymaga kalibracji względem ocen ludzi, ponieważ sędziowie wykazują biasy pozycji, rozwlekłości i samowywyższania.

MCP (Model Context Protocol)MCP i tożsamość

Model Context Protocol (MCP) to otwarty standard łączenia modeli i agentów AI z zewnętrznymi narzędziami, źródłami danych i usługami przez jednolity interfejs. Szeroko przyjęty w 2025 r., poszerzył zarazem powierzchnię ataku wokół autoryzacji i tożsamości maszynowej.

Memory poisoningBezpieczeństwo

Zatruwanie pamięci uszkadza pamięć długotrwałą agenta, embeddingi lub bazę retrievalu tak, by fałszywe lub złośliwe treści były później przywoływane jako zaufany kontekst. Ponieważ ładunek utrzymuje się między sesjami, może po cichu obciążać wiele przyszłych decyzji.

Multi-agent systemOrkiestracja

System wieloagentowy dzieli zadanie między kilku wyspecjalizowanych agentów, którzy współpracują, często pod koordynatorem. Może poprawić modularność i jakość, ale dodaje tryby awarii: agenci mogą sobie nadmiernie ufać, wzmacniając błędy i ryzyka bezpieczeństwa w całym systemie.

Non-Human Identity (NHI)MCP i tożsamość

Tożsamość maszynowa (NHI) to cyfrowa tożsamość aktora maszynowego — agenta, usługi lub zadania — a nie człowieka. Agenci uwierzytelniają się kluczami, tokenami lub certyfikatami, dlatego zarządzanie tymi tożsamościami, ich zakresem i rotacją jest kluczowe dla bezpieczeństwa agentów.

ObservabilityObserwowalność

Obserwowalność to zdolność rozumienia wewnętrznego stanu agenta na podstawie jego wyjść — traces, logów i metryk. W przypadku agentów oznacza odtworzenie każdego kroku rozumowania, wywołania narzędzia i decyzji, aby diagnozować awarie i audytować zachowanie.

OrchestrationOrkiestracja

Orkiestracja koordynuje, jak agenci, narzędzia i kroki działają razem, by wykonać zadanie. Obejmuje przepływ sterowania, stan, ponowienia i przekazania — czy to dla pojedynczego agenta, czy systemu wieloagentowego — a frameworki jak LangGraph czy CrewAI realizują różne modele orkiestracji.

Prompt injectionBezpieczeństwo

Prompt injection to atak, który przemyca złośliwe instrukcje do tekstu czytanego przez agenta AI, przejmując jego zachowanie. Wariant bezpośredni atakuje prompt użytkownika; pośredni ukrywa instrukcje w dokumentach, stronach lub wynikach narzędzi, które agent przetwarza później.

Tool poisoningBezpieczeństwo

Tool poisoning to manipulowanie narzędziami, na których polega agent — lub ich wynikami — tak, by podejmował szkodliwe decyzje. Obejmuje podmienione opisy narzędzi, przejęte API i spreparowane odpowiedzi, które kierują agenta ku niebezpiecznym działaniom.

TracingObserwowalność

Tracing rejestruje pełną ścieżkę wykonania uruchomienia agenta jako drzewo spanów: prompty, wywołania modelu, wywołania narzędzi i kroki podagentów, każdy z czasem i metadanymi. Konwencje GenAI w OpenTelemetry stają się tu standardem de facto.

—