ارزیابی‌ها و کیفیت
مجموعهٔ ارزیابی تعریفی محدود به فضای کاری از یک وظیفه است که باید در برابر یک عامل اجرا شود: یک پرامپت، یک عامل و حالت هدف، راه‌اندازی اختیاری، یک فیکسچر اختیاری با یک SHA پین‌شده و فهرستی از نمره‌دهنده‌ها. اولویت با نمره‌دهنده‌های قطعی است؛ یک داورِ LLM که بر پایهٔ معیارهای نمره‌دهی کار می‌کند، آنچه را این بررسی‌ها نمی‌توانند بیان کنند پوشش می‌دهد.
پنج مجموعهٔ آغازین هنگام ساخت یک فضای کاری کاشته می‌شوند. این‌ها پیشنهادهای
ارکستراسیون، بازبینی‌ای که یک باگ کاشته‌شده را پیدا می‌کند، فقط‌خواندنی ماندن
حالت برنامه، تولید یک برنامه توسط حالت برنامه و رفت‌وبرگشت یک تیکت را پوشش
می‌دهند. فرایند کاشت به رویداد WorkspaceCreated (workspace.upsert یا
workspace.create) گوش می‌دهد، نامی را که از قبل وجود دارد رد می‌کند و فضاهای
کاری قدیمی‌تر را به‌صورت گذشته‌نگر پر نمی‌کند.
کجا ظاهر می‌شوند
بخش با عنوان “کجا ظاهر می‌شوند”مشاهده‌پذیری → کیفیت (/workspaces/<id>/observability) هر مجموعه را در فضای
کاری فهرست می‌کند.
مجموعه‌ها را با evals.upsertSuite، evals.deleteSuite و evals.watchSuites
ایجاد، فهرست، ویرایش و حذف کنید. زبانهٔ کیفیت همان فهرست است؛ این عملیات نقش
ویرایشگر را دارند.
مفهوم‌های مرتبط
بخش با عنوان “مفهوم‌های مرتبط”- مدل عامل: پیکربندی‌ای که یک مجموعه آن را پین می‌کند
- گاردریل‌ها: درجهٔ خودمختاری
- مدیریت هزینه‌ها و بودجه‌ها: هزینهٔ ثبت‌شده در کنار یک اجرا