AgentOps-Glossar

AgentOpsObservability

AgentOps bezeichnet die operativen Praktiken für den Produktivbetrieb autonomer KI-Agenten: Observability, Monitoring, Kostenkontrolle, Zuverlässigkeit, Sicherheit und Governance. Es erweitert MLOps und LLMOps auf Systeme, die planen, Tools aufrufen und über viele Schritte mit geringem menschlichem Eingriff handeln.

CheckpointingOrchestrierung

Checkpointing speichert den Zustand eines Agenten an Punkten während der Ausführung, sodass ein Lauf pausiert, fortgesetzt, zurückgerollt oder nach einem Fehler wiederhergestellt werden kann. Es ist die Grundlage langlebiger, lang laufender Agenten und menschlicher Freigabeschritte und lässt Arbeit ohne Neustart fortsetzen.

EU AI ActGovernance

Der EU AI Act ist die risikobasierte KI-Verordnung der Europäischen Union. Er führt Pflichten gestaffelt nach Risikostufe ein, darunter Transparenzpflichten nach Artikel 50, die am 2. August 2026 durchsetzbar werden und beeinflussen, wie autonome Agenten den KI-Einsatz offenlegen müssen.

Excessive agencySicherheit

Excessive Agency ist das Risiko, dass ein Agent mehr Berechtigungen, Autonomie oder Tool-Zugriff besitzt, als seine Aufgabe erfordert. Bei Ausnutzung oder Fehlern führen weitreichende Rechte dazu, dass eine einzige Fehlentscheidung übermäßigen Schaden anrichtet — etwa Daten löschen oder Geld überweisen.

GuardrailsMenschliche Aufsicht

Guardrails sind Laufzeit-Kontrollen, die einschränken, was ein Agent empfangen, erzeugen oder tun darf. Eingabe-Guardrails filtern Prompts, Ausgabe-Guardrails prüfen Antworten und Verhaltens-Guardrails blockieren unzulässige Tool-Aktionen — zusammen bilden sie eine Sicherheitsschicht um das Modell.

HallucinationEvals

Eine Halluzination ist eine Ausgabe, die flüssig und selbstbewusst, aber faktisch falsch oder unbelegt ist. Bei Agenten ist sie besonders gefährlich, weil ein halluzinierter Fakt eine echte Tool-Aktion auslösen kann; daher dienen Grounding, Verifikation und Evals ihrer Erkennung und Reduktion.

HOOTLMenschliche Aufsicht

Human-out-of-the-Loop (HOOTL) beschreibt vollständig autonomen Betrieb, bei dem ein Agent ohne menschliche Beteiligung in Echtzeit handelt. Es bietet maximalen Durchsatz bei höchstem Risiko und bleibt daher gering riskanten, klar abgegrenzten Aufgaben mit starken Guardrails und nachträglichem Audit vorbehalten.

Human-in-the-loop (HITL)Menschliche Aufsicht

Human-in-the-Loop bedeutet, dass eine Person kritische Aktionen freigeben muss, bevor ein Agent sie ausführt. Es maximiert Kontrolle und Rechenschaft auf Kosten des Durchsatzes und ist für risikoreiche Schritte nach entstehenden KI-Governance-Regeln oft vorgeschrieben.

Human-on-the-loop (HOTL)Menschliche Aufsicht

Human-on-the-Loop bedeutet, dass eine Person einen Agenten überwacht und eingreifen oder ihn stoppen kann, aber nicht jede Aktion vorab freigibt. Es tauscht etwas Kontrolle gegen höheren Durchsatz und passt zu Workflows mittleren Risikos mit zuverlässigem Monitoring und Kill-Switch.

ISO 42001Governance

ISO/IEC 42001 ist die internationale Norm für ein KI-Managementsystem (AIMS). Sie bietet Organisationen einen zertifizierbaren Rahmen aus Richtlinien, Rollen, Risikokontrollen und kontinuierlicher Verbesserung für die verantwortungsvolle Entwicklung und den Betrieb von KI, einschließlich agentischer Systeme.

LLM-as-a-judgeEvals

LLM-as-a-Judge nutzt ein Sprachmodell, um die Ausgaben eines Agenten anhand von Kriterien zu bewerten oder zu vergleichen. Es skaliert die Evaluierung günstig, muss aber gegen menschliche Labels kalibriert werden, da Judges Positions-, Verbosity- und Self-Enhancement-Bias zeigen.

MCP (Model Context Protocol)MCP & Identität

Das Model Context Protocol (MCP) ist ein offener Standard, um KI-Modelle und Agenten über eine einheitliche Schnittstelle mit externen Tools, Datenquellen und Diensten zu verbinden. 2025 weit verbreitet, vergrößerte es zugleich die Angriffsfläche rund um Autorisierung und Maschinenidentität.

Memory poisoningSicherheit

Memory Poisoning verfälscht das Langzeitgedächtnis, die Embeddings oder den Retrieval-Speicher eines Agenten, sodass falsche oder schädliche Inhalte später als vertrauenswürdiger Kontext abgerufen werden. Da die Nutzlast über Sitzungen hinweg bestehen bleibt, kann sie viele künftige Entscheidungen unbemerkt verzerren.

Multi-agent systemOrchestrierung

Ein Multi-Agent-System teilt eine Aufgabe auf mehrere spezialisierte Agenten auf, die zusammenarbeiten, oft unter einem Koordinator. Es kann Modularität und Qualität verbessern, fügt aber Fehlerquellen hinzu: Agenten vertrauen einander mitunter zu sehr und verstärken Fehler und Sicherheitsrisiken systemweit.

Non-Human Identity (NHI)MCP & Identität

Eine Non-Human Identity ist die digitale Identität eines maschinellen Akteurs — eines Agenten, Dienstes oder Workloads — statt einer Person. Agenten authentifizieren sich mit Schlüsseln, Tokens oder Zertifikaten; das Verwalten, Eingrenzen und Rotieren dieser Identitäten ist daher zentral für die Agenten-Sicherheit.

ObservabilityObservability

Observability ist die Fähigkeit, den internen Zustand eines Agenten aus seinen Ausgaben zu verstehen — Traces, Logs und Metriken. Bei Agenten bedeutet das, jeden Reasoning-Schritt, Tool-Aufruf und jede Entscheidung zu rekonstruieren, um Fehler zu diagnostizieren und Verhalten zu auditieren.

OrchestrationOrchestrierung

Orchestrierung koordiniert, wie Agenten, Tools und Schritte zusammen eine Aufgabe erfüllen. Sie umfasst Kontrollfluss, Zustand, Wiederholungen und Übergaben — ob für einen einzelnen Agenten oder ein Multi-Agent-System — und Frameworks wie LangGraph oder CrewAI setzen unterschiedliche Orchestrierungsmodelle um.

Prompt injectionSicherheit

Prompt Injection ist ein Angriff, der schädliche Anweisungen in den von einem KI-Agenten gelesenen Text einschleust und sein vorgesehenes Verhalten überschreibt. Direkte Injection zielt auf den Nutzer-Prompt; indirekte versteckt Anweisungen in Dokumenten, Webseiten oder Tool-Ausgaben, die der Agent später verarbeitet.

Tool poisoningSicherheit

Tool Poisoning manipuliert die Tools, auf die ein Agent angewiesen ist — oder deren Ausgaben — sodass der Agent schädliche Entscheidungen trifft. Dazu zählen verfälschte Tool-Beschreibungen, kompromittierte APIs und präparierte Antworten, die den Agenten zu unsicheren Aktionen lenken.

TracingObservability

Tracing zeichnet den vollständigen Ausführungspfad eines Agentenlaufs als Span-Baum auf: Prompts, Modellaufrufe, Tool-Aufrufe und Sub-Agenten-Schritte, jeweils mit Timing und Metadaten. Die GenAI-Konventionen von OpenTelemetry werden dafür zum De-facto-Standard.

—