Évaluations et qualité

Une suite d’évaluation est la définition, propre à un espace de travail, d’une tâche à exécuter contre un agent : un prompt, un agent et un mode cibles, une configuration facultative, une fixture facultative accompagnée d’un SHA épinglé et une liste de correcteurs. Les correcteurs sont déterministes d’abord ; un juge à grille d’évaluation LLM couvre ce que ces vérifications ne peuvent pas exprimer.

Cinq suites de base s’amorcent à la création d’un espace de travail. Elles couvrent les propositions d’orchestration, une révision qui détecte un bogue introduit volontairement, le mode plan qui reste en lecture seule, le mode plan qui produit un plan et un aller-retour de ticket. L’amorçage écoute WorkspaceCreated (workspace.upsert ou workspace.create), ignore un nom qui existe déjà et ne remplit pas rétroactivement les espaces de travail plus anciens.

Où elles apparaissent

Observabilité → Qualité (/workspaces/<id>/observability) répertorie chaque suite de l’espace de travail.

Créez, listez, modifiez et supprimez des suites au moyen de evals.upsertSuite, evals.deleteSuite et evals.watchSuites. L’onglet Qualité est la liste ; ces opérations constituent l’éditeur.

Concepts connexes

• Le modèle d’agent : la configuration qu’épingle une suite
• Garde-fous : le réglage d’autonomie
• Gérer les coûts et les budgets : les dépenses consignées en parallèle d’une exécution