Evals und Qualität

Eine Eval-Suite ist eine an den Arbeitsbereich gebundene Definition einer Aufgabe, die gegen einen Agenten läuft: ein Prompt, ein Zielagent und ein Modus, eine optionale Vorbereitung, eine optionale Fixture mit festgeschriebenem SHA und eine Liste von Gradern. Grader sind zuerst deterministisch; ein Richter mit LLM-Rubrik deckt ab, was diese Prüfungen nicht ausdrücken können.

Fünf Starter-Suites werden angelegt, wenn ein Arbeitsbereich entsteht. Sie decken Orchestrierungsvorschläge ab, ein Review, das einen eingebrachten Fehler findet, den Planmodus, der schreibgeschützt bleibt, den Planmodus, der einen Plan erzeugt, und einen Ticket-Roundtrip. Das Seeding hört auf WorkspaceCreated (workspace.upsert oder workspace.create), überspringt einen Namen, der schon existiert, und zieht ältere Arbeitsbereiche nicht nach.

Wo sie erscheinen

Observability → Qualität (/workspaces/<id>/observability) listet jede Suite im Arbeitsbereich auf.

Suites werden über evals.upsertSuite, evals.deleteSuite und evals.watchSuites angelegt, aufgelistet, bearbeitet und gelöscht. Der Tab Qualität ist die Liste; diese Operationen sind der Editor.

Verwandte Konzepte

• Das Agentenmodell: die Konfiguration, die eine Suite festschreibt
• Schutzregeln: der Autonomieregler
• Kosten und Budgets verwalten: Ausgaben, die neben einem Lauf erfasst werden