Eval-uri și calitate

O suită eval este o definiție, la nivelul spațiului de lucru, a unei sarcini de rulat împotriva unui agent: un prompt, un agent țintă și un mod, o configurare opțională, o fixture opțională cu un SHA fixat și o listă de evaluatori. Evaluatorii sunt determiniști în primul rând; un judecător LLM cu rubrică acoperă ceea ce verificările respective nu pot exprima.

Cinci suite de pornire sunt inițializate la crearea unui spațiu de lucru. Ele acoperă propuneri de orchestrare, o revizuire care găsește un bug plantat, modul Plan care rămâne doar-citire, modul Plan care produce un plan și un ciclu dus-întors al unui tichet. Inițializarea ascultă WorkspaceCreated (workspace.upsert sau workspace.create), ignoră un nume care există deja și nu completează retroactiv spațiile de lucru mai vechi.

Unde apar

Observabilitate → Calitate (/workspaces/<id>/observability) listează fiecare suită din spațiul de lucru.

Creează, listează, editează și șterge suite prin evals.upsertSuite, evals.deleteSuite și evals.watchSuites. Fila Calitate este lista; acele operațiuni sunt editorul.

Concepte conexe

• Modelul agenților: configurația pe care o fixează o suită
• Guardrail-uri: cadranul de autonomie
• Gestionează costurile și bugetele: cheltuielile înregistrate alături de o rulare