Langkau ke kandungan

Urus kos

Panduan ini menunjukkan cara melihat kos larian ejen dan cara menghadkan larian autonomi.

Setiap larian ejen menulis log larian yang membawa token input, token output, token penaakulan, token bacaan cache dan token penulisan cache, anggaran kos dalam sen serta kos mana-mana subejen yang dilahirkannya.

Harga datang daripada katalog models.dev, yang digunakan hanya untuk memperkayakan senarai model dengan harga dan tetingkap konteks — tidak pernah sebagai sumber id model. Model yang tidak dapat dihargakan oleh katalog merekodkan $0, dan larian berkos sifar dikecualikan daripada ringkasan Penggunaan & kos. Oleh itu, model Ollama tempatan tidak menunjukkan sebarang perbelanjaan, walaupun bilangan tokennya masih direkodkan. Pelan kadar tetap (kimi-code, langganan Claude) hanya sama apabila katalog tiada harga untuk model yang disajikan; jika ada, larian itu tetap dianggarkan pada kadar tersebut. Dalam rantaian sandaran, kos larian dikira berdasarkan model yang benar-benar menyajikannya, bukan model yang diminta.

Capainya daripada pengaki bar sisi → Kebolehcerapan. Tab Penggunaan terbuka dahulu (jumlah token seumur hayat); bertukar kepada Wawasan — tab kedua — untuk permukaan kos utama:

  • Pemilih julat masa: 24 jam lalu, 7 hari lalu, 30 hari lalu, atau sepanjang masa
  • Penapis bermuka atas ejen, model, status dan peranan, sebagai cip yang boleh dibuang
  • Jalur KPI: jumlah larian, jumlah kos, kadar ralat, kadar cache, token sesaat, purata kependaman dan masa ke token pertama, setiap satu dengan perubahan berbanding tempoh sebelumnya (tersembunyi pada “Sepanjang masa”)
  • Carta aktiviti dan kos, serta pecahan kos mengikut peranan yang membahagikan perbelanjaan antara ejen utama, subejennya dan penasihatnya
  • Jadual mengikut ejen yang diisih mengikut kos, sepuluh teratas dengan togol tunjuk semua. Mengetik satu baris menapis setiap permukaan lain kepada ejen itu
  • Log larian terperinci, yang menyandarkan laci transkrip bagi larian yang dipilih

Kad Penggunaan & kos pada halaman ini menunjukkan perbelanjaan yang diperhatikan bagi tujuh hari lalu sebagai satu angka dolar, dengan pecahan mengikut penyedia dan, apabila penyedia menerbitkannya, masa sehingga tetingkap kuota seterusnya ditetapkan semula.

Tetapan → Ruang kerja → Ejen → pilih ejen → Log menyenaraikan lariannya dengan status, tempoh, masa mula dan masa selesai, PID dan penyesuai. Tab ini tidak menunjukkan kos — gunakan jadual mengikut ejen dalam Kebolehcerapan → Wawasan untuk itu.

Dua perintah slash, yang ditaip dalam komposer ruang, ialah satu-satunya larian yang mempunyai had perbelanjaan:

/goal ship the auth refactor --budget 20
/loop keep the flaky tests green
  • Setiap segmen larian /goal atau /loop berhenti apabila perbelanjaan berharganya mencapai 500 sen ($5.00). Pada 80% daripadanya, gelung itu mula-mula mengemudi model supaya menyelesaikan kerja dan meninggalkan serahan yang bersih, jadi ia tidak mati di pertengahan tugasan.
  • Keseluruhan matlamat tahan lama dihadkan pada 5000 sen ($50.00) melainkan anda menghantar --budget <dollars>. Penyelia menyalurkan belanjawan matlamat yang tinggal ke dalam setiap segmen, jadi belanjawan eksplisit tidak pernah dilampaui oleh keseluruhan segmen.
  • --days N menambah tarikh akhir masa sebenar dan --max N siling bilangan larian. Kedua-duanya pilihan; tanpanya, matlamat hanya dibatasi oleh kos.
  • Matlamat yang mencapai dindingnya berhenti pada budgetExhausted dan hanya boleh disambung semula dengan menaikkan belanjawan.

Kerana had itu berasaskan harga, model yang tidak dapat dihargakan oleh katalog tidak pernah mencapainya. Larian sedemikian sebaliknya dibatasi oleh pengawal pengulangan gelung malapetaka, penyerahan penyelia selepas tiga kegagalan berturut-turut dan anda.

Mesej dalam ruang, @-sebutan, atau langkah pipeline tiada had perbelanjaan. Larian tamat apabila model berhenti, apabila anda menghentikannya, atau apabila pengawal gelung malapetaka mengemudinya.

Taip /compact dalam komposer ruang. Perintah itu dipintas di pihak klien dan tidak pernah masuk ke dalam transkrip; pelayan melipat sejarah lama menjadi ringkasan berlabuh dan perbualan diteruskan pada konteks yang dimampatkan.

Pemampatan ditolak semasa ejen berada di pertengahan giliran dan apabila tiada apa-apa yang cukup lama untuk dilipat. Harness terbina juga memampatkan sendiri apabila sejarah menghampiri tetingkap konteks model.

Usaha penaakulan ejen (Tetapan → Ruang kerja → Ejen) menawarkan apa-apa tahap yang diterbitkan oleh model yang dipilih. Tahap yang lebih tinggi membelanjakan lebih banyak token penaakulan. Simpan tahap tertinggi untuk kerja yang memerlukannya.

Model ialah medan bagi setiap ejen, jadi ejen pemformatan atau triage boleh berjalan pada model murah manakala ejen seni bina berjalan pada model mahal. Tapis jadual mengikut ejen dalam Kebolehcerapan → Wawasan mengikut model untuk melihat pasangan mana yang sebenarnya membebankan kos anda.

Cari larian dengan bilangan token yang berlebihan

Bahagian bertajuk “Cari larian dengan bilangan token yang berlebihan”

Buka log larian dalam Wawasan (50 larian tertapis yang terbaharu) dan laci transkrip pada apa-apa yang luar biasa. Punca biasa ialah prompt sistem atau persona yang terlalu panjang, konteks yang sepatutnya telah dimampatkan dan tugasan yang sepatutnya dipecahkan kepada beberapa tugasan yang lebih kecil.

Apa yang berlaku jika belanjawan ditetapkan di luar jalur

Bahagian bertajuk “Apa yang berlaku jika belanjawan ditetapkan di luar jalur”

Untuk kesempurnaan, jika monthlyBudgetCents atau polisi belanjawan ditulis terus ke baris ejen:

  • Belanjawan dinilai selepas larian selesai, bukan sebelum penghantaran. Pendengar pada penyempurnaan larian membandingkan perbelanjaan bulan semasa ejen dengan silingnya.
  • Melangkaui ambang lembut (80% secara lalai) merekodkan insiden amaran dan mencetuskan peristiwa BudgetThresholdCrossed yang boleh anda gantungkan pencetus pipeline padanya.
  • Menghabiskan belanjawan merekodkan insiden keras, mencetuskan peristiwa yang sama dan menukar status kitaran hayat ejen kepada paused.
  • Sekatan pra-penghantaran itu wujud tetapi hanya dirujuk oleh pengutip larian yatim dan penyelaras tiket terkandas semasa menjadualkan pemulihan — penghantaran biasa tidak pernah mencapainya dan tiada apa-apa pada laluan penghantaran menyemak status jeda. Satu-satunya isyarat yang kelihatan ialah lencana kitaran hayat dalam carta organisasi.