評估與質素
評估套件是一種以工作區為界的任務定義,用來針對某個代理執行:一段提示詞、一個目標代理與模式、可選的預備步驟、一個帶有固定 SHA 的可選夾具,以及一組評分器。評分器以確定性檢查為先;確定性檢查無法表達的部分,則交由按 LLM 評分標準判斷的評審處理。
建立工作區時會預置五個入門套件。它們涵蓋編排提案、能找出預置錯誤的審查、計劃模式維持唯讀、計劃模式產出計劃,以及工單往返。預置程序會監聽 WorkspaceCreated(workspace.upsert 或 workspace.create),略過已存在的名稱,亦不會回填較早的工作區。
它們出現的位置
標題為「它們出現的位置」的章節可觀測性 → 質素(/workspaces/<id>/observability)會列出工作區內的每個套件。
透過 evals.upsertSuite、evals.deleteSuite 和 evals.watchSuites 來建立、列出、編輯和刪除套件。質素分頁就是這份清單,而這些操作就是編輯器。