Evaly a kvalita

Sada eval je definice úlohy vázaná na pracovní prostor, která se spouští na agentovi: prompt, cílový agent a režim, volitelná příprava, volitelná fixture s připnutým SHA a seznam hodnotitelů. Nejdřív přijdou determinističtí hodnotitelé; soudce podle rubriky LLM pokryje to, co tyto kontroly neumějí vyjádřit.

Pět startovních sad se založí při vytvoření pracovního prostoru. Pokrývají návrhy orchestrace, revizi, která najde zasetou chybu, setrvání režimu plánu jen u čtení, vytvoření plánu v režimu plánu a cestu ticketu tam a zpět. Zakládání naslouchá WorkspaceCreated (workspace.upsert nebo workspace.create), přeskočí název, který už existuje, a starší pracovní prostory zpětně nedoplní.

Kde se objeví

Observabilita → Kvalita (/workspaces/<id>/observability) vypíše každou sadu v pracovním prostoru.

Sady se vytvářejí, vypisují, upravují a mažou přes evals.upsertSuite, evals.deleteSuite a evals.watchSuites. Záložka Kvalita je seznam; ty operace jsou editor.

Související koncepty

• Model agentů: konfigurace, kterou sada připne
• Guardraily: ovladač autonomie
• Spravujte náklady a rozpočty: výdaje zaznamenané spolu s během