評価と品質
評価スイートとは、エージェントに対して実行するタスクをワークスペーススコープで定義したものです。プロンプト、対象のエージェントとモード、省略可能なセットアップ、固定された SHA を持つ省略可能なフィクスチャ、そしてグレーダーの一覧から構成されます。グレーダーはまず決定論的で、そうしたチェックでは表現できない部分を LLM ルーブリックによる判定が補います。
ワークスペースの作成時に 5 つのスタータースイートがシードされます。これらは、オーケストレーションの提案、シードされたバグを検出するレビュー、プランモードが読み取り専用にとどまること、プランモードがプランを生成すること、チケットのラウンドトリップをカバーします。シードは WorkspaceCreated（workspace.upsert または workspace.create）をリッスンし、既に存在する名前はスキップし、古いワークスペースをバックフィルしません。
表示される場所
「表示される場所」というセクションオブザーバビリティ → 品質（/workspaces/<id>/observability）に、ワークスペース内の各スイートが一覧表示されます。
スイートの作成、一覧表示、編集、削除は evals.upsertSuite、evals.deleteSuite、evals.watchSuites で行います。品質タブが一覧であり、これらの操作がエディターです。