การประเมินและคุณภาพ

ชุด eval คือคำจำกัดความระดับเวิร์กสเปซของงานที่จะรันกับเอเจนต์ ประกอบด้วยพรอมต์ เอเจนต์เป้าหมายและโหมด ขั้นตอนเซ็ตอัปที่ไม่บังคับ ฟิกซ์เจอร์ที่ไม่บังคับซึ่งปักหมุด SHA ไว้ และรายการเกรดเดอร์ เกรดเดอร์เป็นแบบดีเทอร์มินิสติกก่อนเป็นอันดับแรก ส่วนผู้ตัดสินแบบ LLM ที่ใช้รูบริกจะครอบคลุมสิ่งที่การตรวจสอบเหล่านั้นไม่สามารถแสดงออกได้

ชุดเริ่มต้นห้าชุดจะถูก seed เมื่อสร้างเวิร์กสเปซ ชุดเหล่านี้ครอบคลุมข้อเสนอการประสานงาน รีวิวที่ตรวจจับบั๊กที่ seed ไว้ โหมดแผนที่คงสถานะอ่านอย่างเดียว โหมดแผนที่สร้างแผน และการไปกลับครบวงจรของตั๋วงาน การ seed จะฟังเหตุการณ์ WorkspaceCreated (workspace.upsert หรือ workspace.create) ข้ามชื่อที่มีอยู่แล้ว และไม่เติมข้อมูลย้อนหลัง ให้เวิร์กสเปซเก่า

ตำแหน่งที่ชุดเหล่านี้ปรากฏ

การสังเกตการณ์ → คุณภาพ (/workspaces/<id>/observability) แสดงรายการชุด eval แต่ละชุดในเวิร์กสเปซ

สร้าง แสดงรายการ แก้ไข และลบชุด eval ผ่าน evals.upsertSuite, evals.deleteSuite และ evals.watchSuites แท็บคุณภาพคือรายการ ส่วนการดำเนินการเหล่านั้นคือตัวแก้ไข

แนวคิดที่เกี่ยวข้อง

• โมเดลเอเจนต์: การกำหนดค่าที่ชุด eval ปักหมุดไว้
• กฎคุม: ปุ่มปรับระดับความเป็นอิสระ
• จัดการต้นทุนและงบประมาณ: ค่าใช้จ่ายที่บันทึกไว้ ควบคู่กับการรัน