评测与质量
评测套件是一种工作区级的任务定义,用于针对某个智能体运行:一段提示词、一个目标智能体与模式、可选的准备步骤、一个带固定 SHA 的可选夹具,以及一组评分器。评分器以确定性检查为先;确定性检查无法表达的内容,交由按 LLM 评分标准评判的评判器覆盖。
创建工作区时会预置五个入门套件。它们分别覆盖编排提案、能找出预置缺陷的审查、计划模式保持只读、计划模式产出计划,以及工单往返。预置过程会监听 WorkspaceCreated(workspace.upsert 或 workspace.create),跳过已存在的名称,也不会回填较早的工作区。
它们出现在哪里
标题为“它们出现在哪里”的部分可观测性 → 质量(/workspaces/<id>/observability)会列出工作区中的每个套件。
通过 evals.upsertSuite、evals.deleteSuite 和 evals.watchSuites 来创建、列出、编辑和删除套件。质量标签页就是这份列表,而这些操作就是编辑器。