Đánh giá và chất lượng

Bộ đánh giá là một định nghĩa trong phạm vi không gian làm việc về một tác vụ cần chạy trên một agent: một prompt, một agent đích cùng chế độ, phần thiết lập tùy chọn, một fixture tùy chọn với SHA được ghim và một danh sách các bộ chấm điểm. Các bộ chấm điểm mang tính tất định trước tiên; một giám khảo LLM theo bảng tiêu chí sẽ đảm nhận những gì mà các kiểm tra đó không thể diễn đạt.

Năm bộ khởi đầu được gieo sẵn khi tạo một không gian làm việc. Chúng bao quát các đề xuất điều phối, một lượt đánh giá tìm ra lỗi đã gieo sẵn, chế độ Kế hoạch giữ nguyên chỉ đọc, chế độ Kế hoạch tạo ra một kế hoạch và một vòng khứ hồi của phiếu. Việc gieo sẵn lắng nghe WorkspaceCreated (workspace.upsert hoặc workspace.create), bỏ qua tên đã tồn tại và không điền bù cho các không gian làm việc cũ.

Nơi chúng xuất hiện

Quan sát → Chất lượng (/workspaces/<id>/observability) liệt kê từng bộ đánh giá trong không gian làm việc.

Tạo, liệt kê, sửa và xóa bộ đánh giá qua evals.upsertSuite, evals.deleteSuite và evals.watchSuites. Tab Chất lượng chính là danh sách; còn những thao tác đó chính là trình biên tập.

Khái niệm liên quan

• Mô hình agent: cấu hình mà một bộ đánh giá ghim lại
• Rào chắn: núm tự chủ
• Quản lý chi phí và ngân sách: chi phí được ghi lại song song với một lần chạy