Avaliações e qualidade

Uma suíte de avaliação é uma definição, no escopo de um espaço de trabalho, de uma tarefa a ser executada contra um agente: um prompt, um agente de destino e um modo, uma configuração opcional, uma fixture opcional com um SHA fixado e uma lista de avaliadores. Os avaliadores são determinísticos em primeiro lugar; um juiz com rubrica de LLM cobre o que essas verificações não conseguem expressar.

Cinco suítes iniciais são semeadas quando um espaço de trabalho é criado. Elas cobrem propostas de orquestração, uma revisão que encontra um bug semeado, o modo plano permanecendo somente leitura, o modo plano produzindo um plano e um ciclo completo de ticket. A semeadura escuta WorkspaceCreated (workspace.upsert ou workspace.create), ignora um nome que já existe e não preenche retroativamente espaços de trabalho mais antigos.

Onde elas aparecem

Observabilidade → Qualidade (/workspaces/<id>/observability) lista cada suíte no espaço de trabalho.

Crie, liste, edite e exclua suítes por meio de evals.upsertSuite, evals.deleteSuite e evals.watchSuites. A aba Qualidade é a lista; essas operações são o editor.

Conceitos relacionados

• O modelo de agentes: a configuração que uma suíte fixa
• Barreiras: o dial de autonomia
• Gerenciar custos e orçamentos: o gasto registrado junto com uma execução