Eval e qualità
Una eval suite è la definizione, con ambito ristretto allo spazio di lavoro, di un’attività da eseguire su un agente: un prompt, un agente di destinazione e una modalità, un setup opzionale, una fixture opzionale con uno SHA fissato e un elenco di grader. I grader sono deterministici in primo luogo; un giudice con rubrica LLM copre ciò che quei controlli non riescono a esprimere.
Cinque eval suite iniziali vengono create quando si crea uno spazio di lavoro.
Coprono le proposte di orchestrazione, una revisione che individua un bug
introdotto appositamente, la modalità piano che resta in sola lettura, la
modalità piano che produce un piano e il ciclo di andata e ritorno di un ticket.
L’inizializzazione ascolta WorkspaceCreated (workspace.upsert o
workspace.create), salta un nome già esistente e non popola retroattivamente
gli spazi di lavoro più vecchi.
Dove compaiono
Sezione intitolata “Dove compaiono”Osservabilità → Qualità (/workspaces/<id>/observability) elenca ogni suite
dello spazio di lavoro.
Puoi creare, elencare, modificare ed eliminare le suite tramite
evals.upsertSuite, evals.deleteSuite e evals.watchSuites. La scheda
Qualità è l’elenco; quelle operazioni sono l’editor.
Concetti correlati
Sezione intitolata “Concetti correlati”- Il modello degli agenti: la configurazione che una suite fissa
- Guardrail: il selettore dell’autonomia
- Gestisci i costi e i budget: la spesa registrata insieme a un’esecuzione