Valutazione degli agenti AI: come testare le skill degli agenti
Una guida pratica a casi, controlli, valutatori e gate di rilascio
La valutazione degli agenti AI verifica se un agente riesce a completare un compito specifico in modo affidabile e sicuro prima dell'uso ordinario. Per valutare le skill di un agente, parti da attività reali, testa le decisioni e gli effetti collaterali che contano e usa un gate di rilascio proporzionato al rischio. Una risposta ben scritta ottenuta in una singola esecuzione è una prova utile, ma non basta per affidare a un agente messaggi ai clienti, modifiche ai dati o denaro.
In breve: parti da 8 a 12 casi presi dal lavoro reale. Confronta la configurazione prevista dell'agente con una baseline senza skill. Usa il codice per verificare fatti come file, destinatari, permessi e argomenti passati agli strumenti. Usa un valutatore calibrato solo per gli aspetti che richiedono giudizio umano. Blocca il rilascio quando viene superato un confine critico.
| Decisione | Cosa testare | Prove da conservare |
|---|---|---|
| L'agente deve agire? | Casi positivi, negativi, parafrasi e collisioni | Selezione, astensione e tasso di attivazioni errate |
| Ha completato il compito? | Fatti richiesti, file, chiamate agli strumenti e stato finale | Asserzioni e artefatti di output |
| Ha seguito un percorso sicuro? | Permessi, approvazioni, nuovi tentativi ed effetti collaterali | Traccia degli strumenti e violazioni dei confini |
| Un team può fare affidamento su di lui? | Esecuzioni ripetute, costi e latenza | Tasso di successo, costo per successo e latenza p95 |
La domanda utile è semplice: questo agente riesce a svolgere questo compito nelle condizioni che incontrerà davvero? Il Manuale per gli Agent Skill Evals contiene una versione copiabile del processo descritto qui sotto.
Una valutazione degli agenti AI deve supportare una decisione di rilascio
Ogni valutazione parte da una decisione. Definisci il compito, la persona che subirebbe le conseguenze di un risultato sbagliato, le prove necessarie per il rilascio e il confine che interrompe l'esecuzione. In questo modo il team evita di raccogliere prompt generici che non risolvono mai la discussione.
Un agente che prepara la risposta a una richiesta di un cliente ha bisogno di più di un testo scorrevole. Potrebbe dover identificare il cliente giusto, citare fonti approvate, creare una bozza nel thread corretto e fermarsi prima dell'invio. Ogni requisito richiede un controllo dedicato.
La discussione dello YC Paper Club sui sistemi di agenti capaci di migliorarsi è utile in questo contesto. Più strumenti e più contesto possono rendere un agente più capace. La valutazione mostra al team se queste aggiunte migliorano il lavoro o introducono un nuovo percorso di errore.
Costruisci un framework di valutazione degli agenti partendo dal lavoro reale
Parti dai casi che hanno un costo visibile quando qualcosa va storto. Per ogni decisione importante, includi un caso positivo evidente, una parafrasi, un caso negativo difficile e una collisione in cui un altro flusso di lavoro sembra plausibile. Aggiungi un errore simulato quando l'agente può chiamare uno strumento o modificare uno stato.
| Caso | Cosa dimostra | Esempio |
|---|---|---|
| Positivo | Si attiva il flusso di lavoro corretto | Una richiesta che corrisponde direttamente al compito documentato |
| Parafrasi | Una normale variazione linguistica non interrompe l'instradamento | La stessa richiesta espressa con parole diverse |
| Negativo difficile | Il flusso di lavoro non interviene su attività estranee | Una richiesta simile che appartiene a un altro owner |
| Collisione | Le istruzioni in competizione vengono risolte bene | Potrebbero applicarsi due Agent Skills, ma una dovrebbe prevalere |
| Errore simulato | L'agente recupera senza oltrepassare un confine | Un file mancante, un permesso negato, un timeout o un payload non valido |
Mantieni il set di rilascio separato dagli esempi usati per affinare le istruzioni o il valutatore. Un caso può ancora individuare regressioni dopo aver influenzato l'implementazione, ma non dice più molto sul lavoro nuovo.
Esegui lo stesso compito importante con la configurazione prevista, senza skill e, quando questo controllo è disponibile, con una skill plausibile ma sbagliata. Confronta risultato, percorso degli strumenti, costo, latenza e violazioni critiche. Il paper SWE-Skills-Bench ricorda che le istruzioni aggiuntive possono aiutare alcuni compiti e danneggiarne altri. I controlli appaiati rendono visibile l'effetto nel tuo ambiente.
Testa separatamente output, traiettoria e permessi
La risposta finale è solo una parte del risultato. Per gli agenti che usano strumenti, registra la sequenza delle chiamate, gli argomenti, le approvazioni, i nuovi tentativi e le modifiche di stato. Dietro una risposta apparentemente corretta possono comunque esserci un destinatario sbagliato, un'affermazione non supportata, un'approvazione aggirata o un'azione distruttiva non necessaria.
Usa il codice per i fatti verificabili da una macchina:
- Un file richiesto esiste ed è valido rispetto al suo schema.
- Un destinatario appartiene a una allowlist e una risposta punta al messaggio umano corretto.
- Una modifica al database è stata messa in staging, revisionata o rifiutata come richiesto.
- Lo strumento previsto ha ricevuto gli argomenti corretti.
- Un effetto collaterale vietato non si è verificato.
Usa poi un valutatore semantico per le domande rimanenti, come la fedeltà ai fatti, la completezza o la capacità della risposta di risolvere il compito. Fornisci una rubrica ristretta, una risposta di riferimento o il materiale sorgente quando possibile e un'opzione di astensione. Confronta un campione delle sue decisioni con etichette umane e analizza i disaccordi. La guida di Anthropic alle valutazioni degli agenti esprime lo stesso principio pratico: rendi osservabile l'ambiente e scegli il valutatore più semplice in grado di giudicare il comportamento.
I permessi meritano casi dedicati. Testa accesso negato, autorità ambigua, prompt injection nel materiale recuperato, nuovi tentativi dopo un timeout e richieste che mescolano lavoro sicuro e azioni non sicure. L'analisi ToxicSkills offre esempi del perché le istruzioni di terze parti e l'accesso agli strumenti richiedono una revisione esplicita.
Metriche per la valutazione degli agenti AI che aiutano il team a decidere
Un singolo punteggio raramente descrive bene un agente. Abbina la misurazione alla decisione di rilascio.
| Se il rischio è | Misura | Una domanda utile per il rilascio |
|---|---|---|
| Instradamento sbagliato | Precisione, recall e tasso di attivazioni errate | L'agente agisce solo quando dovrebbe? |
| Output errato | Tasso di successo nel confronto appaiato e asserzioni fallite | Migliora il lavoro reale rispetto alla baseline? |
| Azione non sicura | Violazioni critiche e approvazioni aggirate | Un'esecuzione ha superato un confine che blocca il rilascio? |
| Comportamento incoerente | Tasso di successo nelle esecuzioni ripetute | Funziona in modo affidabile nelle stesse condizioni? |
| Economia non sostenibile | Costo per esecuzione riuscita e latenza p95 | Il team può permettersi questa affidabilità ai normali volumi d'uso? |
Per un compito stocastico, un singolo risultato riuscito è una prova debole. Ripeti casi rappresentativi e indica le condizioni: modello, versioni degli strumenti, fixture, versione del valutatore e numero di esecuzioni. Se tutte e cinque le esecuzioni devono riuscire prima del rilascio, calcola e dichiara esplicitamente questo standard. Ciò permette confronti successivi quando cambiano modello, strumenti o istruzioni.
Un esempio pratico: un agente che crea solo bozze di risposta ai clienti
Considera un agente che prepara una risposta quando un cliente chiede aiuto. La decisione di rilascio è ristretta: può creare una bozza sottoponibile a revisione usando materiale approvato. Non può inviare un messaggio, modificare i dati del cliente o usare una fonte non verificata.
La suite iniziale potrebbe includere una vera richiesta di assistenza, una richiesta parafrasata, una richiesta commerciale simile che deve essere instradata altrove, una richiesta con un link non attendibile e un errore API simulato. I controlli deterministici confermano il thread corretto, i link alle fonti, lo stato di bozza e l'assenza di un evento di invio. Una persona o un valutatore semantico calibrato controlla che la bozza risponda fedelmente alla domanda.
La suite è abbastanza piccola da poter essere eseguita prima di ogni modifica rilevante. Quando si verifica un incidente, analizzalo prima, poi aggiungi al set di valutazione la classe di errore mancante. L'obiettivo è avere una traccia utile di ciò che l'agente può fare e di come un team sa che il lavoro è stato svolto bene.
Inserisci la suite nel ciclo di consegna
Esegui smoke test prima di integrare una piccola modifica. Esegui la suite appaiata prima del rilascio. Controlla il drift quando cambi modelli, strumenti, permessi o materiale sorgente. Gli incidenti in produzione sono input preziosi una volta compreso il comportamento sottostante.
Il contesto persistente aiuta perché casi, artefatti di riferimento, decisioni e correzioni possono restare collegati. Come i team mantengono aggiornata la memoria degli agenti AI spiega l'aspetto della memoria condivisa in questo lavoro. Il tutorial su Codex mostra come istruzioni, skill e verifiche possano vivere in un repository. Una configurazione Second Brain AI può fornire i file persistenti e i cicli di revisione che sostengono il flusso di lavoro.
Domande frequenti
Cos'è la valutazione degli agenti AI?
La valutazione degli agenti AI verifica se un agente riesce a completare un compito definito in modo affidabile e sicuro. Combina casi realistici, controlli sull'output, controlli sugli effetti collaterali, esecuzioni ripetute e una decisione di rilascio proporzionata al rischio.
Quanti casi dovrebbe includere una valutazione degli agenti AI?
Parti da 8 a 12 casi precisi legati alle decisioni e agli errori che contano. Aggiungi casi quando un rilascio, un incidente o una traccia utente rivela una classe di errore mancante. Un set più piccolo con controlli chiari è più utile di un lungo elenco di prompt generici.
Ogni valutazione degli agenti AI dovrebbe usare un LLM come giudice?
No. Usa asserzioni deterministiche per file, schemi, destinatari, argomenti degli strumenti, effetti collaterali e approvazioni. Riserva i valutatori basati su modelli alle domande semantiche, poi calibrali rispetto a etichette umane.
Qual è la metrica migliore da cui partire per un agente AI?
Usa la metrica che corrisponde alla decisione di rilascio. L'instradamento può richiedere precisione e recall. Un flusso di lavoro con effetti collaterali può richiedere zero violazioni critiche. Un compito variabile può richiedere il tasso di superamento nelle esecuzioni ripetute, il costo per successo e un limite di latenza.
Quando può un team rilasciare un agente senza un benchmark completo?
Rilascialo dopo che una suite proporzionata al rischio ha dimostrato il comportamento richiesto e protetto i confini critici. Gli strumenti interni a basso rischio possono partire con meno casi. Gli agenti che inviano messaggi, modificano dati, gestiscono denaro o accedono a segreti richiedono controlli più forti prima dell'uso ordinario.
Parti da un flusso di lavoro
Scegli un flusso di lavoro con un costo visibile in caso di errore. Scrivi la decisione di rilascio, crea le prime famiglie di casi, aggiungi una baseline senza skill e rendi deterministici i fatti importanti. Usa poi il Manuale per gli Agent Skill Evals per ampliare la suite con controlli della traiettoria, calibrazione del valutatore, affidabilità, costi e sicurezza.