평가와 품질
평가 스위트는 에이전트를 상대로 실행할 작업을 워크스페이스 범위에서 정의한 것입니다. 프롬프트, 대상 에이전트와 모드, 선택적 설정, 고정된 SHA가 있는 선택적 픽스처, 그리고 채점기 목록으로 이루어집니다. 채점기는 결정적 검사를 우선하며, LLM 루브릭 판정자가 그런 검사로 표현할 수 없는 부분을 담당합니다.
워크스페이스를 만들면 스타터 스위트 다섯 개가 시드됩니다. 이들은 오케스트레이션
제안, 심어 둔 버그를 찾아내는 리뷰, 읽기 전용을 유지하는 플랜 모드, 플랜을
산출하는 플랜 모드, 티켓 왕복을 다룹니다. 시딩은 WorkspaceCreated
(workspace.upsert 또는 workspace.create)를 수신하고, 이미 있는 이름은
건너뛰며, 기존 워크스페이스를 소급해 채우지는 않습니다.
표시되는 위치
섹션 제목: “표시되는 위치”옵저버빌리티 → 품질(/workspaces/<id>/observability)에는 워크스페이스의 각
스위트가 나열됩니다.
evals.upsertSuite, evals.deleteSuite, evals.watchSuites로 스위트를 생성하고,
나열하고, 편집하고, 삭제합니다. 품질 탭이 목록이고, 그 작업들이 편집기입니다.