Eval’ler ve kalite

Bir eval paketi, bir ajana karşı çalıştırılacak bir görevin çalışma alanı kapsamlı tanımıdır: bir istem, bir hedef ajan ve mod, isteğe bağlı kurulum, sabitlenmiş bir SHA’ya sahip isteğe bağlı bir test düzeneği ve bir değerlendirici listesi. Değerlendiricilerde önce deterministik olanlar çalışır; onların ifade edemediği şeyleri ise LLM rubriğine dayalı bir yargıç kapsar.

Bir çalışma alanı oluşturulduğunda beş başlangıç paketi tohumlanır. Bu paketler orkestrasyon önerilerini, yerleştirilmiş bir hatayı bulan bir incelemeyi, plan modunun salt okunur kalmasını, plan modunun bir plan üretmesini ve bir bilet gidiş-dönüşünü kapsar. Tohumlama WorkspaceCreated olayını dinler (workspace.upsert veya workspace.create), zaten var olan bir adı atlar ve eski çalışma alanlarını geriye dönük doldurmaz.

Nerede görünürler

Gözlemlenebilirlik → Kalite (/workspaces/<id>/observability) çalışma alanındaki her paketi listeler.

Paketleri evals.upsertSuite, evals.deleteSuite ve evals.watchSuites üzerinden oluşturun, listeleyin, düzenleyin ve silin. Kalite sekmesi liste; bu işlemler ise düzenleyicidir.

İlgili kavramlar

• Ajan modeli: bir paketin sabitlediği yapılandırma
• Korumalar: özerklik ayarı
• Maliyetleri ve bütçeleri yönetme: bir çalıştırmayla birlikte kaydedilen harcama