Eval и качество
Eval-набор — это определение задачи в рамках рабочего пространства, которую нужно запустить против агента: промпт, целевой агент и режим, необязательная подготовка, необязательная фикстура с зафиксированным SHA и список грейдеров. Грейдеры в первую очередь детерминированные; судья с LLM-рубрикой покрывает то, что эти проверки выразить не могут.
При создании рабочего пространства создаются пять стартовых наборов. Они
охватывают предложения оркестрации, проверку, которая находит намеренно
внесённую ошибку, режим плана, остающийся доступным только для чтения, режим
плана, создающий план, и полный цикл работы с тикетом. Начальное заполнение
слушает WorkspaceCreated (workspace.upsert или workspace.create),
пропускает имя, которое уже существует, и не заполняет задним числом более
старые рабочие пространства.
Где они появляются
Заголовок раздела «Где они появляются»Наблюдаемость → Качество (/workspaces/<id>/observability) перечисляет
все наборы в рабочем пространстве.
Создавайте, просматривайте, редактируйте и удаляйте наборы через
evals.upsertSuite, evals.deleteSuite и evals.watchSuites. Вкладка
«Качество» — это список; эти операции — редактор.
Связанные понятия
Заголовок раздела «Связанные понятия»- Модель агента: конфигурация, которую фиксирует набор
- Ограничения: регулятор автономии
- Управлять затратами и бюджетами: расходы, записываемые вместе с запуском