Ewaluacje i jakość

Zestaw ewaluacyjny to definicja zadania do uruchomienia na agencie, działająca w zakresie obszaru roboczego: prompt, docelowy agent i tryb, opcjonalna konfiguracja wstępna, opcjonalny fixture z przypiętym SHA oraz lista oceniających. Oceniający działają najpierw deterministycznie; sędzia LLM z rubryką oceny obejmuje to, czego te sprawdzenia nie potrafią wyrazić.

Pięć startowych zestawów jest zasiewanych przy tworzeniu obszaru roboczego. Obejmują one propozycje orkiestracji, recenzję, która wykrywa celowo wprowadzony błąd, tryb planu pozostający tylko do odczytu, tryb planu tworzący plan oraz pełny obieg zgłoszenia. Zasiewanie nasłuchuje zdarzenia WorkspaceCreated (workspace.upsert lub workspace.create), pomija nazwę, która już istnieje, i nie uzupełnia wstecz starszych obszarów roboczych.

Gdzie się pojawiają

Obserwowalność → Jakość (/workspaces/<id>/observability) wyświetla każdy zestaw w obszarze roboczym.

Twórz, wyświetlaj, edytuj i usuwaj zestawy przez evals.upsertSuite, evals.deleteSuite i evals.watchSuites. Karta Jakość jest listą; te operacje to edytor.

Zobacz też

• Model agentów: konfiguracja, którą przypina zestaw
• Guardraile: pokrętło autonomii
• Zarządzaj kosztami i budżetami: wydatki rejestrowane razem z uruchomieniem