Evaluasi dan kualitas
Sebuah suite eval adalah definisi bercakupan ruang kerja atas sebuah tugas yang dijalankan terhadap agen: sebuah prompt, agen target beserta modenya, penyiapan opsional, fixture opsional dengan SHA yang dipatok, dan daftar penilai. Penilai mengutamakan yang deterministik; juri rubrik LLM menutupi hal yang tidak dapat diungkapkan oleh pemeriksaan tersebut.
Lima suite pemula ditanam saat ruang kerja dibuat. Suite-suite itu mencakup
proposal orkestrasi, tinjauan yang menemukan bug yang ditanam, mode rencana
yang tetap baca-saja, mode rencana yang menghasilkan rencana, dan tiket
bolak-balik. Penanaman mendengarkan WorkspaceCreated (workspace.upsert
atau workspace.create), melewati nama yang sudah ada, dan tidak mengisi
mundur ruang kerja lama.
Di mana ini muncul
Bagian berjudul “Di mana ini muncul”Observabilitas → Kualitas (/workspaces/<id>/observability) mendaftar
setiap suite di ruang kerja.
Buat, daftar, edit, dan hapus suite melalui evals.upsertSuite,
evals.deleteSuite, dan evals.watchSuites. Tab Kualitas adalah daftarnya;
operasi-operasi tersebut adalah editornya.
Konsep terkait
Bagian berjudul “Konsep terkait”- Model agen: konfigurasi yang dipatok oleh sebuah suite
- Pagar pengaman: dial otonomi
- Kelola biaya dan anggaran: pengeluaran yang tercatat bersama sebuah run