Avaliações e qualidade

Uma suite de avaliação é uma definição, com âmbito de espaço de trabalho, de uma tarefa a executar contra um agente: um prompt, um agente de destino e um modo, uma preparação opcional, uma fixture opcional com um SHA fixado e uma lista de avaliadores. Os avaliadores são deterministas em primeiro lugar; um juiz com rubrica de LLM cobre o que essas verificações não conseguem expressar.

Cinco suites iniciais são inicializadas quando um espaço de trabalho é criado. Abrangem propostas de orquestração, uma revisão que encontra um bug semeado, o modo Plano a permanecer só de leitura, o modo Plano a produzir um plano e uma ida e volta de um ticket. A inicialização escuta WorkspaceCreated (workspace.upsert ou workspace.create), ignora um nome que já existe e não preenche retroativamente espaços de trabalho mais antigos.

Onde aparecem

Observabilidade → Qualidade (/workspaces/<id>/observability) lista cada suite do espaço de trabalho.

Crie, liste, edite e elimine suites através de evals.upsertSuite, evals.deleteSuite e evals.watchSuites. O separador Qualidade é a lista; essas operações são o editor.

Conceitos relacionados

• O modelo de agentes: a configuração que uma suite fixa
• Barreiras: o dial de autonomia
• Gerir custos e orçamentos: os gastos registados em paralelo com uma execução