Αξιολογήσεις και ποιότητα

Ένα σύνολο αξιολόγησης είναι ένας ορισμός, στο εύρος ενός χώρου εργασίας, μιας εργασίας που εκτελείται σε έναν πράκτορα: μια προτροπή, ένας πράκτορας-στόχος και λειτουργία, προαιρετική προετοιμασία, ένα προαιρετικό fixture με καρφιτσωμένο SHA και μια λίστα αξιολογητών. Οι αξιολογητές είναι πρώτα ντετερμινιστικοί· ένας κριτής με ρουμπρίκα LLM καλύπτει ό,τι δεν μπορούν να εκφράσουν αυτοί οι έλεγχοι.

Πέντε αρχικά σύνολα εισάγονται κατά τη δημιουργία ενός χώρου εργασίας. Καλύπτουν προτάσεις ενορχήστρωσης, έναν έλεγχο που εντοπίζει ένα σπαρμένο σφάλμα, τη λειτουργία σχεδίου να παραμένει μόνο για ανάγνωση, τη λειτουργία σχεδίου να παράγει ένα σχέδιο και μια διαδρομή εισιτηρίου μετ’ επιστροφής. Η εισαγωγή ακούει για WorkspaceCreated (workspace.upsert ή workspace.create), παραλείπει όνομα που υπάρχει ήδη και δεν συμπληρώνει παλαιότερους χώρους εργασίας.

Πού εμφανίζονται

Η Παρατηρησιμότητα → Ποιότητα (/workspaces/<id>/observability) εμφανίζει τη λίστα με κάθε σύνολο στον χώρο εργασίας.

Δημιουργήστε, παραθέστε, επεξεργαστείτε και διαγράψτε σύνολα μέσω των evals.upsertSuite, evals.deleteSuite και evals.watchSuites. Η καρτέλα Ποιότητα είναι η λίστα· αυτές οι λειτουργίες είναι ο επεξεργαστής.

Σχετικές έννοιες

• Το μοντέλο πρακτόρων: η διαμόρφωση που καθηλώνει ένα σύνολο
• Περιορισμοί: ο διακόπτης αυτονομίας
• Διαχείριση κόστους: δαπάνες που καταγράφονται μαζί με μια εκτέλεση