ایوالز اور معیار

ایول سوٹ کسی ایجنٹ کے خلاف چلانے والے کام کی ورک اسپیس تک محدود تعریف ہے: ایک پرامپٹ، ایک ہدف ایجنٹ اور موڈ، اختیاری سیٹ اپ، پن شدہ SHA کے ساتھ اختیاری فکسچر اور گرےڈرز کی فہرست۔ گرےڈرز پہلے ڈٹرمینسٹک ہوتے ہیں؛ ایک LLM-روبرک جج وہ کچھ محیط ہوتا ہے جو وہ جانچیں بیان نہیں کر سکتیں۔

ورک اسپیس بننے پر پانچ اسٹارٹر سوٹ بیج ہوتے ہیں۔ یہ آرکیسٹریشن تجاویز، ایسا ریویو جو بیج شدہ بگ ڈھونڈ لے، پلان موڈ کا صرف پڑھنے تک محدود رہنا، پلان موڈ کا پلان بنانا اور ٹکٹ کے مکمل چکر کا احاطہ کرتے ہیں۔ بیج ہونا WorkspaceCreated کی سنتا ہے (workspace.upsert یا workspace.create)، پہلے سے موجود نام چھوڑ دیتا ہے اور پرانے ورک اسپیسز کو بیک فل نہیں کرتا۔

یہ کہاں ظاہر ہوتے ہیں

آبزرویبلٹی → معیار (/workspaces/<id>/observability) ورک اسپیس میں ہر سوٹ کی فہرست دکھاتا ہے۔

سوٹس بنائیں، فہرست دیکھیں، ترمیم کریں اور حذف کریں evals.upsertSuite، evals.deleteSuite اور evals.watchSuites کے ذریعے۔ معیار ٹیب وہ فہرست ہے؛ یہ آپریشنز ایڈیٹر ہیں۔

متعلقہ تصورات

• ایجنٹ ماڈل: وہ کنفیگریشن جسے سوٹ پن کرتا ہے
• گارڈریلز: خود مختاری کا ڈائل
• اخراجات اور بجٹ منظم کریں: رن کے ساتھ ریکارڈ ہونے والا خرچ