Utvärderingar och kvalitet

En eval-svit är en arbetsytsbunden definition av en uppgift som ska köras mot en agent: en prompt, en målagent och ett läge, valfri uppsättning, en valfri fixture med fastnålad SHA och en lista med bedömare. Bedömarna är deterministiska i första hand; en domare med LLM-rubrik täcker det som kontrollerna inte kan uttrycka.

Fem startsviter sås in när en arbetsyta skapas. De täcker orkestreringsförslag, en granskning som hittar en inplanterad bugg, att planläge förblir skrivskyddat, att planläge tar fram en plan och en tur och retur för ett ärende. Inplanteringen lyssnar på WorkspaceCreated (workspace.upsert eller workspace.create), hoppar över ett namn som redan finns och fyller inte på äldre arbetsytor i efterhand.

Var de visas

Observability → Kvalitet (/workspaces/<id>/observability) listar varje svit i arbetsytan.

Skapa, lista, redigera och ta bort sviter via evals.upsertSuite, evals.deleteSuite och evals.watchSuites. Fliken Kvalitet är listan; de åtgärderna är redigeraren.

Relaterade koncept

• Agentmodellen: konfigurationen en svit låser fast
• Räcken: autonomireglaget
• Hantera kostnader och budgetar: utgifter som registreras tillsammans med en körning