Költségek kezelése

Ez az útmutató megmutatja, hogyan láthatja, mennyibe kerülnek az ügynökfuttatások, és hogyan korlátozhatja egy autonóm futtatás költését.

Hogyan rögzülnek a költségek

Minden ügynökfuttatás ír egy futtatási naplót, amely hordozza a bemeneti tokenjeit, a kimeneti tokenjeit, a gondolkodási tokenjeit, a gyorsítótárazott olvasási és gyorsítótárazott írási tokenjeit, egy centben kifejezett becsült költséget, valamint az általa indított alügynökök költségét.

Az árazás a models.dev katalógusból származik, amelyet kizárólag arra használunk, hogy a modelllistát árral és kontextusablakkal egészítse ki — soha nem modellazonosítók forrásaként. Egy olyan modell, amelyet a katalógus nem tud beárazni, 0 $-t rögzít, és a nulla költségű futtatások kimaradnak a Használat és költség összegzésből. Egy helyi Ollama-modell ezért egyáltalán nem mutat költést, bár a tokenjei továbbra is rögzülnek. Egy átalánydíjas csomag (kimi-code, egy Claude-előfizetés) csak akkor ugyanilyen, ha a katalógusban nincs ár a kiszolgált modellhez; ha van, a futtatás akkor is azokkal az árakkal becsülődik. Tartalékmodell-lánc esetén a futtatás árazása ahhoz a modellhez igazodik, amely ténylegesen kiszolgálta, nem ahhoz, amelyet kértek.

Nézze meg, mennyit költ

Megfigyelhetőség → Betekintések

Az oldalsáv láblécéből érhető el → Megfigyelhetőség. A Használat lap nyílik meg először (a teljes élettartamra vonatkozó tokenösszegek); váltson a Betekintések — a második — lapra a fő költségfelülethez:

Időtartomány-választó: az elmúlt 24 óra, az elmúlt 7 nap, az elmúlt 30 nap vagy minden idő
Szempont szerinti szűrők ügynökre, modellre, állapotra és szerepkörre, elvethető címkék formájában
KPI-sáv: összes futtatás, összköltség, hibaarány, gyorsítótár-arány, másodpercenkénti token, átlagos késleltetés és az első tokenig eltelt idő, mindegyik az előző időszakhoz mért változással (a „Minden idő” nézetben rejtve)
Aktivitási és költségdiagramok, valamint egy Költség szerep szerint bontás, amely a költést a fő ügynök, annak alügynökei és a tanácsadója között osztja fel
Költség szerint rendezett, ügynökönkénti táblázat, az első tíz, összes megjelenítése kapcsolóval. Egy sorra koppintva minden más felület erre az ügynökre szűrődik
A részletes futtatási napló, amely a kijelölt futtatáshoz egy átiratfiókot dokkol

Beállítások → Szerver → Modellszolgáltatók

Az ezen az oldalon található Használat és költség kártya egyetlen dollárösszegként mutatja az elmúlt hét nap megfigyelt költését, szolgáltatónkénti bontással, és ha egy szolgáltató közzétesz ilyet, a következő kvótaablak visszaállításáig hátralévő idővel.

Egyetlen ügynök futtatásai

Beállítások → Munkaterület → Ügynökök → válasszon ki egy ügynököt → a Naplók felsorolja annak futtatásait állapottal, időtartammal, kezdési és befejezési időponttal, PID-del és adapterrel. Ez a lap nem mutat költséget — erre a Megfigyelhetőség → Betekintések ügynökönkénti táblázatát használja.

Egy autonóm futtatás korlátozása

Két, egy tér beviteli mezőjébe beírt slash-parancs az egyetlen olyan futtatás, amelynek költési felső korlátja van:

/goal ship the auth refactor --budget 20
/loop keep the flaky tests green

Egy /goal vagy /loop futtatás minden szegmense leáll, amikor az árazott költése eléri az 500 centet ($5.00). Ennek 80%-ánál a ciklus előbb arra tereli a modellt, hogy fejezze be és hagyjon tiszta átadást, így nem hal el a feladat közepén.
Egy teljes tartós cél felső korlátja 5000 cent ($50.00), hacsak nem adja át a --budget <dollars> kapcsolót. A felügyelő a cél fennmaradó költségvetését fűzi át minden szegmensbe, így egy explicit költségvetést soha nem lép túl egy teljes szegmenssel.
A --days N falórai határidőt, a --max N pedig futtatásszám-plafont ad. Mindkettő opcionális; nélkülük a célt csak a költség korlátozza.
A cél, amely eléri a falát, budgetExhausted állapotban áll le, és csak a költségvetés megemelésével folytatható.

Mivel a korlát árazott, egy olyan modell, amelyet a katalógus nem tud beárazni, soha nem éri el azt. Az ilyen futtatást ehelyett a végtelen ciklus elleni ismétlésvédelem, a felügyelő három egymást követő hiba utáni feladása és ön korlátozza.

Egy térben lévő üzenetnek, egy @-említésnek vagy egy pipeline-lépésnek nincs költési korlátja. A futtatás akkor ér véget, amikor a modell leáll, amikor ön leállítja, vagy amikor a végtelen ciklus védelme más irányba tereli.

A tokenfelhasználás csökkentése

Hosszú beszélgetés tömörítése

Írja be a /compact parancsot a tér beviteli mezőjébe. A parancsot a kliens oldalán fogják el, és soha nem kerül az átiratba; a szerver a régebbi előzményeket egy horgonyzott összefoglalóba hajtja, és a beszélgetés a tömörített kontextuson folytatódik.

A tömörítés megtagadásra kerül, amikor egy ügynök épp egy kör közepén van, és amikor nincs elég régi anyag az összehajtáshoz. A beépített harness maga is tömörít, ahogy az előzmények megközelítik a modell kontextusablakát.

Válassza meg tudatosan az erőfeszítés szintjét

Egy ügynök Gondolkodási erőfeszítés beállítása (Beállítások → Munkaterület → Ügynökök) mindazokat a szinteket kínálja, amelyeket a kiválasztott modell közzétesz. A magasabb szintek több gondolkodási tokent költenek. A legfelső szinteket tartsa meg azoknak a feladatoknak, amelyeknek szükségük van rájuk.

Válassza meg a modellt ügynökönként

A modell ügynökönkénti mező, így egy formázó vagy triázsoló ügynök olcsó modellen futhat, míg egy architektúra-ügynök drágán. Szűrje a Megfigyelhetőség → Betekintések ügynökönkénti táblázatát modell szerint, hogy lássa, melyik párosítás kerül valójában pénzbe.

Keressen kirívó tokenszámú futtatásokat

Nyissa meg a Betekintések futtatási naplóját (a legutóbbi 50 szűrt futtatást), és nyissa meg az átiratfiókot minden szokatlan esetnél. A szokásos okok: egy túl hosszú rendszerprompt vagy persona, az olyan kontextus, amelyet tömöríteni kellett volna, és egy olyan feladat, amelynek több kisebb feladatra kellett volna bomlania.

Mi történik, ha egy költségvetést sávon kívül állítanak be

A teljesség kedvéért, ha a monthlyBudgetCents vagy egy költségvetési szabályzat közvetlenül egy ügynöksorba íródik:

A költségvetések kiértékelése egy futtatás befejezése után történik, nem az indítás előtt. A futtatás befejezésére feliratkozó figyelő összehasonlítja az ügynök hónap eleje óta tartó költését a felső korlátjával.
A lágy küszöb átlépése (alapértelmezés szerint 80%) figyelmeztető incidenst rögzít, és kivált egy BudgetThresholdCrossed eseményt, amelyre pipeline-eseményindítót akaszthat.
A költségvetés kimerítése kemény incidenst rögzít, ugyanazt az eseményt váltja ki, és az ügynök életciklus-állapotát paused-ra billenti.
Az indítás előtti blokk létezik, de csak az árva futtatások takarítója és a bennragadt jegyek egyeztetője kérdezi le a helyreállítás ütemezésekor — egy normál indítás soha nem ér el hozzá, és az indítás útvonalán semmi nem ellenőrzi a paused állapotot. Az egyetlen látható jelzés a szervezeti ábrán megjelenő életciklus-jelvény.

Kapcsolódó útmutatók

Kapcsolódó fogalmak

Ügynökindítás életciklusa