Evals og kvalitet

En eval-suite er en arbeidsområdeavgrenset definisjon av en oppgave som skal kjøres mot en agent: en prompt, en målagent og en målmodus, valgfritt oppsett, en valgfri fixture med en låst SHA og en liste med bedømmere. Deterministiske bedømmere kommer først; en LLM-rubrikkdommer dekker det disse kontrollene ikke kan uttrykke.

Fem start-suiter legges inn når et arbeidsområde opprettes. De dekker orkestreringsforslag, en gjennomgang som finner en plantet feil, at planmodus holder seg skrivebeskyttet, at planmodus produserer en plan, og en tur-retur for en sak. Innleggingen lytter på WorkspaceCreated (workspace.upsert eller workspace.create), hopper over et navn som allerede finnes og etterfyller ikke eldre arbeidsområder.

Hvor de vises

Observabilitet → Kvalitet (/workspaces/<id>/observability) lister opp hver suite i arbeidsområdet.

Opprett, list opp, rediger og slett suiter med evals.upsertSuite, evals.deleteSuite og evals.watchSuites. Kvalitet-fanen er listen; disse operasjonene er redigeringsverktøyet.

Relaterte konsepter

• Agentmodellen: konfigurasjonen en suite låser
• Tillatelsesregler: autonomiinnstillingen
• Administrer kostnader og budsjetter: forbruk som registreres sammen med en kjøring