AI Agent Evaluation: So testest du Agent Skills

Eine AI Agent Evaluation prüft, ob ein Agent eine bestimmte Aufgabe zuverlässig und sicher erledigen kann, bevor er regulär eingesetzt wird. Wenn du Agent Skills bewerten willst, beginne mit echten Aufgaben, teste die relevanten Entscheidungen und Nebenwirkungen und nutze ein Release-Gate, das zum Risiko passt. Eine ausgefeilte Antwort aus einem einzigen Durchlauf ist ein nützlicher Beleg, reicht aber nicht aus, um einem Agenten Kundennachrichten, Datenänderungen oder Geld anzuvertrauen.

Kurzfassung: Beginne mit 8 bis 12 Fällen aus der echten Arbeit. Vergleiche die geplante Agentenkonfiguration mit einer Baseline ohne Skill. Prüfe Fakten wie Dateien, Empfänger, Berechtigungen und Tool-Argumente mit Code. Nutze einen kalibrierten Bewerter nur für Teile, die menschliches Urteil erfordern. Blockiere die Freigabe, sobald eine kritische Grenze verletzt wird.

Entscheidung	Was du testen solltest	Welche Belege du aufbewahren solltest
Soll der Agent handeln?	Positive Fälle, negative Fälle, Paraphrasen und Kollisionen	Auswahl, Verzicht und Fehlaktivierungsrate
Hat er die Aufgabe erledigt?	Erforderliche Fakten, Dateien, Tool-Aufrufe und Endzustand	Assertions und Ergebnisartefakte
Hat er einen sicheren Weg gewählt?	Berechtigungen, Freigaben, erneute Versuche und Nebenwirkungen	Tool-Trace und Grenzverletzungen
Kann sich ein Team auf ihn verlassen?	Wiederholte Durchläufe, Kosten und Latenz	Erfolgsquote, Kosten pro Erfolg und p95-Latenz

Die Frage, die weiterhilft, ist einfach: Kann dieser Agent diese Aufgabe unter den Bedingungen erledigen, auf die er tatsächlich treffen wird? Das Handbuch für Agent Skill Evals enthält eine kopierbare Version des folgenden Prozesses.

Eine AI Agent Evaluation sollte eine Freigabeentscheidung ermöglichen

Jede Evaluation beginnt mit einer Entscheidung. Benenne die Aufgabe, die Person, die von einem schlechten Ergebnis betroffen wäre, die für eine Freigabe erforderlichen Belege und die Grenze, an der der Durchlauf endet. So vermeidest du eine Sammlung allgemeiner Prompts, die eine Diskussion nie abschließend klären.

Ein Agent, der eine Antwort auf eine Kundenanfrage entwirft, braucht mehr als flüssigen Text. Er muss womöglich den richtigen Kunden erkennen, genehmigte Quellen zitieren, einen Entwurf im richtigen Thread anlegen und vor dem Senden stoppen. Jede Anforderung braucht eine eigene Prüfung.

Hier ist die Diskussion des YC Paper Club über selbstverbessernde Agentensysteme hilfreich. Mehr Tools und Kontext können einen Agenten leistungsfähiger machen. Die Evaluation zeigt einem Team, ob diese Ergänzungen die Arbeit verbessern oder einen neuen Fehlerpfad schaffen.

Baue ein Framework für AI Agent Evaluation aus echter Arbeit

Beginne mit Fällen, deren Fehler sichtbare Kosten verursachen. Nimm für jede wichtige Entscheidung einen eindeutigen positiven Fall, eine Paraphrase, einen schwierigen negativen Fall und eine Kollision auf, bei der ein anderer Workflow plausibel erscheint. Ergänze eine Fehlerauslösung, wenn der Agent ein Tool aufrufen oder einen Zustand verändern kann.

Fall	Was er belegt	Beispiel
Positiv	Der richtige Workflow wird aktiviert	Eine Anfrage, die direkt zur dokumentierten Aufgabe passt
Paraphrase	Normale sprachliche Varianten bringen das Routing nicht zum Scheitern	Dieselbe Anfrage mit anderem Wortlaut
Schwieriger negativer Fall	Der Workflow greift nicht in fremde Aufgaben ein	Eine ähnliche Anfrage, die einem anderen Owner gehört
Kollision	Konkurrierende Anweisungen werden sinnvoll aufgelöst	Zwei Agent Skills könnten passen, aber einer sollte führen
Fehlerauslösung	Der Agent erholt sich, ohne eine Grenze zu überschreiten	Eine fehlende Datei, verweigerte Berechtigung, Zeitüberschreitung oder ungültige Nutzlast

Halte ein Freigabeset getrennt von den Beispielen, die zum Abstimmen der Anweisungen oder des Bewerters verwendet wurden. Ein Fall kann weiterhin Regressionen finden, nachdem er die Implementierung beeinflusst hat. Er sagt dann aber nur noch wenig über neue Arbeit aus.

Führe dieselbe wichtige Aufgabe mit der geplanten Konfiguration, ohne Skill und, falls diese Kontrollbedingung verfügbar ist, mit einem plausiblen, aber falschen Skill aus. Vergleiche Ergebnis, Tool-Pfad, Kosten, Latenz und kritische Verstöße. Das SWE-Skills-Bench-Paper ist eine nützliche Erinnerung daran, dass zusätzliche Anweisungen manchen Aufgaben helfen und anderen schaden können. Gepaarte Kontrollbedingungen machen den Effekt in deiner eigenen Umgebung sichtbar.

Teste Ausgabe, Ablauf (Trajectory) und Berechtigungen getrennt

Die abschließende Antwort ist nur ein Teil des Ergebnisses. Zeichne bei Agenten, die Tools verwenden, die Abfolge der Tool-Aufrufe, Argumente, Freigaben, erneuten Versuche und Zustandsänderungen auf. Hinter einer korrekt wirkenden Antwort können trotzdem ein falscher Empfänger, eine unbelegte Behauptung, eine umgangene Freigabe oder eine unnötige destruktive Aktion stecken.

Nutze Code für Fakten, die eine Maschine prüfen kann:

1. Eine erforderliche Datei existiert und wird erfolgreich gegen ihr Schema validiert.
2. Ein Empfänger steht auf einer Positivliste und eine Antwort zielt auf die richtige menschliche Nachricht.
3. Eine Datenbankänderung wurde wie vorgeschrieben gestaged, geprüft oder abgelehnt.
4. Das erwartete Tool hat die vorgesehenen Argumente erhalten.
5. Eine verbotene Nebenwirkung ist nicht eingetreten.

Nutze danach einen semantischen Bewerter für die verbleibenden Fragen, etwa Faktentreue, Vollständigkeit oder ob die Antwort die Aufgabe erfüllt. Gib dem Bewerter eine enge Rubrik, wenn möglich eine Referenzantwort oder Quellenmaterial und eine Möglichkeit zur Enthaltung. Vergleiche Stichproben seiner Entscheidungen mit menschlichen Labels und untersuche die Abweichungen. Anthropics Leitfaden zu Agent Evals formuliert denselben praktischen Punkt: Mache die Umgebung beobachtbar und wähle den einfachsten Bewerter, der das Verhalten beurteilen kann.

Berechtigungen verdienen eigene Fälle. Teste verweigerten Zugriff, unklare Autorität, Prompt Injection in abgerufenem Material, Wiederholungen nach einer Zeitüberschreitung und Anfragen, die sichere Arbeit mit einer unsicheren Aktion verbinden. Die ToxicSkills-Analyse liefert Beispiele dafür, warum Anweisungen Dritter und Tool-Zugriff ausdrücklich geprüft werden müssen.

Metriken für AI Agent Evaluation, die Entscheidungen erleichtern

Eine einzige Kennzahl beschreibt einen Agenten nur selten gut. Richte die Messung an der Freigabeentscheidung aus.

Wenn das Risiko darin besteht	Miss	Eine nützliche Freigabefrage
Falsches Routing	Präzision, Recall und Fehlaktivierungsrate	Handelt der Agent nur dann, wenn er handeln soll?
Falsches Ergebnis	Gepaarte Erfolgsquote und fehlgeschlagene Assertions	Verbessert er die tatsächliche Arbeit gegenüber der Baseline?
Unsichere Aktion	Kritische Verstöße und umgangene Freigaben	Hat ein Durchlauf eine Grenze überschritten, die die Freigabe blockiert?
Inkonsistentes Verhalten	Erfolgsquote wiederholter Durchläufe	Funktioniert er unter denselben Bedingungen wiederholt?
Unbrauchbare Wirtschaftlichkeit	Kosten pro erfolgreichem Durchlauf und p95-Latenz	Kann sich das Team diese Zuverlässigkeit bei normalem Volumen leisten?

Bei einer stochastischen Aufgabe ist ein einzelnes erfolgreiches Ergebnis ein schwacher Beleg. Wiederhole repräsentative Fälle und dokumentiere die Bedingungen: Modell, Tool-Versionen, Fixtures, Bewerterversion und Anzahl der Durchläufe. Wenn für eine Freigabe jeder von fünf Durchläufen bestehen muss, berechne und nenne diesen Standard ausdrücklich. So werden spätere Vergleiche möglich, wenn sich Modell, Tools oder Anweisungen ändern.

Ein durchgearbeitetes Beispiel: ein Agent, der nur Kundenantworten entwirft

Stell dir einen Agenten vor, der eine Antwort vorbereitet, wenn ein Kunde um Hilfe bittet. Die Freigabeentscheidung ist eng gefasst: Er darf mit genehmigtem Material einen prüfbaren Entwurf erstellen. Er darf keine Nachricht senden, Kundendaten ändern oder eine ungeprüfte Quelle verwenden.

Die erste Suite könnte eine echte Supportanfrage, eine umformulierte Anfrage, eine ähnliche Vertriebsanfrage mit anderem Routing, eine Anfrage mit einem nicht vertrauenswürdigen Link und einen simulierten API-Fehler enthalten. Deterministische Prüfungen bestätigen den richtigen Thread, die Quellenlinks, den Entwurfsstatus und das Ausbleiben eines Sendeereignisses. Ein Mensch oder ein kalibrierter semantischer Bewerter prüft, ob der Entwurf die Frage inhaltstreu beantwortet.

Diese Suite ist klein genug, um sie vor jeder relevanten Änderung auszuführen. Wenn ein Vorfall auftritt, untersuche ihn zuerst und ergänze danach die fehlende Fehlerklasse im Evaluationsset. Ziel ist eine nützliche Dokumentation dessen, was der Agent tun darf und woran ein Team erkennt, dass er die Arbeit gut erledigt hat.

Integriere die Suite in den Auslieferungsprozess

Führe Smoke-Tests aus, bevor eine kleine Änderung übernommen wird. Führe die gepaarte Suite vor der Freigabe aus. Prüfe Drift, wenn du Modelle, Tools, Berechtigungen oder Quellmaterial änderst. Produktionsvorfälle sind wertvolle Eingaben, sobald das zugrunde liegende Verhalten verstanden ist.

Dauerhafter Kontext hilft, weil Fälle, Referenzartefakte, Entscheidungen und Korrekturen miteinander verbunden bleiben können. Wie Teams den Speicher von AI Agents aktuell halten erklärt den Aspekt des geteilten Speichers bei dieser Arbeit. Das Codex-Tutorial zeigt, wie Anweisungen, Skills und Verifikation in einem Repository leben können. Ein Second Brain AI Setup kann die dauerhaften Dateien und Prüfschleifen hinter dem Workflow bereitstellen.

Häufig gestellte Fragen

Was ist eine AI Agent Evaluation?

Eine AI Agent Evaluation prüft, ob ein Agent eine definierte Aufgabe zuverlässig und sicher erledigen kann. Sie kombiniert realistische Fälle, Ergebnisprüfungen, Prüfungen von Nebenwirkungen, wiederholte Durchläufe und eine Freigabeentscheidung, die zum Risiko passt.

Wie viele Fälle sollte eine AI Agent Evaluation enthalten?

Beginne mit 8 bis 12 präzisen Fällen, die an relevante Entscheidungen und Fehler gebunden sind. Ergänze Fälle, wenn eine Freigabe, ein Vorfall oder ein Nutzer-Trace eine fehlende Fehlerklasse sichtbar macht. Ein kleineres Set mit klaren Kontrollbedingungen ist nützlicher als eine lange Liste allgemeiner Prompts.

Sollte jede AI Agent Evaluation einen LLM-Bewerter verwenden?

Nein. Nutze deterministische Assertions für Dateien, Schemas, Empfänger, Tool-Argumente, Nebenwirkungen und Freigaben. Setze Modellbewerter nur für semantische Fragen ein und kalibriere sie danach gegen menschliche Labels.

Was ist die beste erste Kennzahl für einen AI Agent?

Nutze die Kennzahl, die zur Freigabeentscheidung passt. Routing kann Präzision und Recall erfordern. Ein Workflow mit Nebenwirkungen kann null kritische Verstöße voraussetzen. Eine variable Aufgabe kann die Erfolgsquote wiederholter Durchläufe, Kosten pro Erfolg und ein Latenzbudget benötigen.

Wann kann ein Team einen Agenten ohne vollständigen Benchmark freigeben?

Gib ihn frei, nachdem eine risikogerechte Suite das erforderliche Verhalten nachweist und kritische Grenzen schützt. Interne Hilfen mit niedrigem Risiko können mit weniger Fällen beginnen. Agenten, die Nachrichten senden, Daten ändern, mit Geld umgehen oder auf Geheimnisse zugreifen, brauchen vor dem Routineeinsatz stärkere Kontrollen.

Beginne mit einem Workflow

Wähle einen Workflow mit sichtbaren Fehlerkosten. Formuliere die Freigabeentscheidung, erstelle die ersten Fallgruppen, ergänze eine Baseline ohne Skill und gestalte die Prüfung der wichtigen Fakten deterministisch. Nutze danach das Handbuch für Agent Skill Evals, um die Suite um Ablaufprüfungen (Trajectory), Bewerterkalibrierung, Zuverlässigkeit, Kosten und Sicherheit zu erweitern.