Évaluations et qualité
Une suite d’évaluation est la définition, propre à un espace de travail, d’une tâche à exécuter contre un agent : un prompt, un agent cible et un mode, une préparation facultative, une fixture facultative avec un SHA épinglé et une liste d’évaluateurs. Les évaluateurs sont déterministes en premier lieu ; un juge LLM à grille d’évaluation couvre ce que ces vérifications ne peuvent pas exprimer.
Cinq suites de démarrage sont initialisées à la création d’un espace de travail. Elles
couvrent les propositions d’orchestration, une revue qui détecte un bogue pré-injecté, le
mode plan qui reste en lecture seule, le mode plan qui produit un plan et un aller-retour
de ticket. L’initialisation écoute WorkspaceCreated (workspace.upsert ou
workspace.create), ignore un nom qui existe déjà et n’alimente pas rétroactivement les
espaces de travail plus anciens.
Où elles apparaissent
Section intitulée « Où elles apparaissent »Observabilité → Qualité (/workspaces/<id>/observability) liste chaque suite de
l’espace de travail.
Créez, listez, modifiez et supprimez des suites via evals.upsertSuite,
evals.deleteSuite et evals.watchSuites. L’onglet Qualité est la liste ; ces opérations
constituent l’éditeur.
Concepts liés
Section intitulée « Concepts liés »- Le modèle d’agent : la configuration qu’épingle une suite
- Garde-fous : le curseur d’autonomie
- Gérer les coûts et les budgets : les dépenses enregistrées en parallèle d’une exécution