Eval і якість

Eval-набір — це визначення завдання для запуску проти агента в межах робочого простору: промпт, цільовий агент і режим, необов’язкове налаштування, необов’язкова фікстура із закріпленим SHA та список оцінювачів. Оцінювачі насамперед детерміновані; суддя за LLM-рубрикою покриває те, чого ці перевірки не можуть виразити.

П’ять стартових наборів додаються під час створення робочого простору. Вони охоплюють пропозиції оркестрації, перевірку, що знаходить підкладений баг, режим плану, який залишається лише для читання, режим плану, який створює план, і повний цикл тікета. Початкове наповнення слухає WorkspaceCreated (workspace.upsert або workspace.create), пропускає назву, що вже існує, і не наповнює заднім числом старіші робочі простори.

Де вони з’являються

Спостережуваність → Якість (/workspaces/<id>/observability) перелічує кожен набір у робочому просторі.

Створюйте, перелічуйте, редагуйте й видаляйте набори через evals.upsertSuite, evals.deleteSuite та evals.watchSuites. Вкладка «Якість» — це список; ці операції — це редактор.

Пов’язані поняття

• Модель агента: конфігурація, яку закріплює набір
• Обмеження: регулятор автономії
• Керування витратами й бюджетами: витрати, записані разом із запуском