הערכות ואיכות
חבילת הערכה היא הגדרה תחומה לסביבת עבודה של משימה להרצה מול סוכן: הנחיה, סוכן יעד ומצב, הכנה אופציונלית, מתקן אופציונלי עם SHA מוצמד ורשימת מדרגים. המדרגים דטרמיניסטיים תחילה; שופט מבוסס מחוון LLM מכסה את מה שבדיקות אלה אינן יכולות לבטא.
חמש חבילות התחלתיות נזרעות עם יצירתה של סביבת עבודה. הן מכסות הצעות תזמור,
סקירה שמאתרת באג שהוחדר מראש, מצב תוכנית שנשאר לקריאה בלבד, מצב תוכנית שמפיק
תוכנית, וסבב הלוך וחזור של כרטיס. הזריעה מאזינה ל־WorkspaceCreated
(workspace.upsert או workspace.create), מדלגת על שם שכבר קיים ואינה משלימה
בדיעבד סביבות עבודה ותיקות יותר.
היכן הן מופיעות
קטע בשם “היכן הן מופיעות”ניטור → איכות (/workspaces/<id>/observability) מציגה כל חבילה בסביבת
העבודה.
אפשר ליצור, להציג, לערוך ולמחוק חבילות דרך evals.upsertSuite,
evals.deleteSuite ו־evals.watchSuites. לשונית איכות היא הרשימה; הפעולות
האלה הן העורך.
מושגים קשורים
קטע בשם “מושגים קשורים”- מודל הסוכן: התצורה שחבילה מצמידה
- מעקות בטיחות: מחוג האוטונומיה
- ניהול עלויות ותקציבים: ההוצאה שנרשמת לצד ההרצה