Evals dan kualiti

Satu suite eval ialah definisi berlingkup ruang kerja bagi sesuatu tugasan untuk dijalankan terhadap ejen: satu prompt, ejen sasaran dan modus, persediaan pilihan, fixture pilihan dengan SHA yang dipinkan dan senarai penggred. Penggred dijalankan secara deterministik dahulu; hakim rubrik LLM meliputi perkara yang tidak dapat dinyatakan oleh pemeriksaan tersebut.

Lima suite permulaan disemai apabila ruang kerja dicipta. Ia merangkumi cadangan orkestrasi, semakan yang menemui pepijat yang disemai, modus pelan yang kekal baca sahaja, modus pelan yang menghasilkan pelan dan pusingan pergi-balik tiket. Penyemaian mendengar WorkspaceCreated (workspace.upsert atau workspace.create), melangkau nama yang sudah wujud dan tidak mengisi semula ruang kerja lama.

Di mana ia muncul

Kebolehcerapan → Kualiti (/workspaces/<id>/observability) menyenaraikan setiap suite dalam ruang kerja itu.

Cipta, senaraikan, sunting dan padam suite melalui evals.upsertSuite, evals.deleteSuite dan evals.watchSuites. Tab Kualiti ialah senarai itu; operasi tersebut ialah editor.

Konsep berkaitan

• Model ejen: konfigurasi yang dipinkan oleh satu suite
• Guardrail: dail autonomi
• Urus kos dan belanjawan: perbelanjaan yang direkodkan bersebelahan satu larian