Evaluaciones y calidad
Una suite de evaluación es una definición, con alcance de espacio de trabajo, de una tarea que se ejecuta contra un agente: un prompt, un agente destino y un modo, una preparación opcional, un fixture opcional con un SHA fijado y una lista de evaluadores. Los evaluadores son deterministas en primer lugar; un juez con rúbrica de LLM cubre lo que esas comprobaciones no pueden expresar.
Cinco suites iniciales se siembran cuando se crea un espacio de trabajo. Cubren
propuestas de orquestación, una revisión que encuentra un error sembrado, que el
modo plan se mantenga en solo lectura, que el modo plan produzca un plan y el
ciclo completo de un ticket. El sembrado escucha WorkspaceCreated
(workspace.upsert o workspace.create), omite un nombre que ya existe y no
rellena retroactivamente los espacios de trabajo más antiguos.
Dónde aparecen
Sección titulada «Dónde aparecen»Observabilidad → Calidad (/workspaces/<id>/observability) enumera cada
suite del espacio de trabajo.
Crea, enumera, edita y elimina suites mediante evals.upsertSuite,
evals.deleteSuite y evals.watchSuites. La pestaña Calidad es la lista; esas
operaciones son el editor.
Conceptos relacionados
Sección titulada «Conceptos relacionados»- El modelo de agentes: la configuración que fija una suite
- Barandillas: el dial de autonomía
- Administrar costos y presupuestos: el gasto registrado junto con una ejecución