跳到內容

評測與品質

評測套件是一種以工作區為範圍的任務定義,用來對代理執行:一段提示詞、 一個目標代理與模式、選用的前置準備、一個帶有固定 SHA 的選用測試夾具, 以及一組評分器。評分器以確定性檢查為先;確定性檢查無法表達的部分, 則交由以 LLM 評分標準判斷的評審處理。

建立工作區時會預置五個入門套件。它們涵蓋編排提案、能找出預置錯誤的審查、 計畫模式維持唯讀、計畫模式產出計畫,以及工單往返。預置程序會監聽 WorkspaceCreated(workspace.upsert 或 workspace.create),略過已存在的名稱, 也不會回填較舊的工作區。

可觀測性 → 品質(/workspaces/<id>/observability)會列出工作區中的每個 套件。

透過 evals.upsertSuite、evals.deleteSuite 和 evals.watchSuites 建立、列出、 編輯和刪除套件。品質分頁就是這份清單;這些操作就是編輯器。