Evals en kwaliteit

Een eval-suite is een werkruimtegebonden definitie van een taak die je tegen een agent uitvoert: een prompt, een doelagent en een modus, een optionele voorbereiding, een optionele fixture met een vastgezette SHA en een lijst met beoordelaars. Beoordelaars zijn in de eerste plaats deterministisch; een LLM-rechter op basis van een rubriek dekt wat die controles niet kunnen uitdrukken.

Bij het aanmaken van een werkruimte worden vijf startersuites geïnitialiseerd. Ze dekken orkestratievoorstellen, een review die een bewust ingebouwde bug vindt, een planmodus die alleen-lezen blijft, een planmodus die een plan oplevert en een volledige ticketronde. De initialisatie luistert naar WorkspaceCreated (workspace.upsert of workspace.create), slaat een naam over die al bestaat en vult oudere werkruimtes niet retroactief aan.

Waar ze verschijnen

Observeerbaarheid → Kwaliteit (/workspaces/<id>/observability) vermeldt elke suite in de werkruimte.

Maak, bekijk, bewerk en verwijder suites met evals.upsertSuite, evals.deleteSuite en evals.watchSuites. Het tabblad Kwaliteit is de lijst; die bewerkingen vormen de editor.

Gerelateerde concepten

• Het agentmodel: de configuratie die een suite vastlegt
• Beveiligingen: de autonomieregelaar
• Kosten en budgetten beheren: uitgaven die naast een run worden vastgelegd