Kiértékelések és minőség

A kiértékelési csomag egy munkaterület-hatókörű definíció egy ügynökkel futtatandó feladatra: egy prompt, egy célügynök és -mód, opcionális előkészítés, egy opcionális, rögzített SHA-jú fixture és az értékelők listája. Az értékelők elsősorban determinisztikusak; egy LLM-rubrikán alapuló bíráló fedi le azt, amit ezek az ellenőrzések nem tudnak kifejezni.

A munkaterület létrehozásakor öt kezdő csomag töltődik be. Ezek lefedik az orchestrációs javaslatokat, egy olyan átnézést, amely megtalál egy beültetett hibát, a tervmód csak olvasható maradását, a tervmód tervkészítését és egy jegy oda-vissza útját. A betöltés a WorkspaceCreated eseményre figyel (workspace.upsert vagy workspace.create), kihagyja a már létező nevet, és nem tölti fel visszamenőleg a régebbi munkaterületeket.

Hol jelennek meg

A Megfigyelhetőség → Minőség (/workspaces/<id>/observability) listázza a munkaterület összes csomagját.

A csomagokat az evals.upsertSuite, az evals.deleteSuite és az evals.watchSuites műveletekkel hozhatja létre, listázhatja, szerkesztheti és törölheti. A Minőség lap maga a lista; ezek a műveletek pedig a szerkesztő.

Kapcsolódó fogalmak

• Az ügynökmodell: az a konfiguráció, amelyet egy csomag rögzít
• Korlátok: az autonómiaszabályzó
• Költségek és keretek kezelése: a futtatás mellett rögzített költés