رفتن به محتوا

مدیریت هزینه‌ها

این راهنما نشان می‌دهد چگونه ببینید اجراهای عامل‌ها چقدر هزینه دارند و چگونه یک اجرای خودمختار را سقف بزنید.

هر اجرای عامل یک گزارش اجرا می‌نویسد که توکن‌های ورودی، توکن‌های خروجی، توکن‌های استدلال، توکن‌های خواندن کش و نوشتن کش، هزینه‌ای تخمینی به سنت و هزینهٔ هر زیرعاملی را که فراخوانی کرده، حمل می‌کند.

قیمت‌گذاری از فهرست models.dev می‌آید که تنها برای غنی‌سازی فهرست مدل‌ها با قیمت و پنجرهٔ بافت استفاده می‌شود — هرگز به‌عنوان منبع شناسه‌های مدل. مدلی که فهرست نمی‌تواند قیمت‌گذاری کند ۰ دلار ثبت می‌کند و اجراهای بی‌هزینه از خلاصهٔ مصرف و هزینه بیرون گذاشته می‌شوند. بنابراین یک مدل محلی Ollama اصلاً هیچ خرجی نشان نمی‌دهد، هرچند شمار توکن‌هایش همچنان ثبت می‌شود. یک طرح نرخ ثابت (kimi-code، اشتراک Claude) تنها زمانی همین‌طور است که فهرست برای مدل ارائه‌شده قیمتی نداشته باشد؛ اگر داشته باشد، اجرا به‌هرحال با همان نرخ‌ها تخمین زده می‌شود. در یک زنجیرهٔ جایگزینی، اجرا بر اساس مدلی قیمت‌گذاری می‌شود که واقعاً آن را ارائه کرده، نه مدلی که درخواست شده بود.

از پاورقی نوار کناری → مشاهده‌پذیری به آن برسید. نخست زبانهٔ مصرف باز می‌شود (مجموع توکن‌های کل عمر)؛ برای سطح اصلی هزینه به بینش‌ها — زبانهٔ دوم — بروید:

  • یک انتخابگر بازهٔ زمانی: ۲۴ ساعت گذشته، ۷ روز گذشته، ۳۰ روز گذشته، یا همهٔ زمان
  • فیلترهای چندوجهی روی عامل، مدل، وضعیت و نقش، به‌شکل چیپ‌های قابل‌بستن
  • یک نوار شاخص‌های کلیدی (KPI): کل اجراها، کل هزینه، نرخ خطا، نرخ کش، توکن / ثانیه، میانگین تأخیر و زمان تا اولین توکن، هرکدام با تغییری نسبت به دورهٔ قبل (در «همهٔ زمان» پنهان است)
  • نمودارهای فعالیت و هزینه، به‌علاوهٔ تفکیک هزینه بر اساس نقش که خرج را میان عامل اصلی، زیرعامل‌هایش و مشاورش تقسیم می‌کند
  • جدولی به‌ازای هر عامل، مرتب‌شده بر اساس هزینه، ده مورد نخست با کلیدی برای نمایش همه. با زدن یک ردیف، همهٔ سطوح دیگر به همان عامل فیلتر می‌شوند
  • گزارش اجرای ریزدانه، که برای اجرای انتخاب‌شده یک کشوی رونوشت را می‌گشاید

تنظیمات → سرور → ارائه‌دهندگان مدل

بخش با عنوان “تنظیمات → سرور → ارائه‌دهندگان مدل”

کارت مصرف و هزینه در این صفحه، هفت روز گذشتهٔ خرج مشاهده‌شده را به‌شکل یک رقم دلاری واحد نشان می‌دهد، همراه با تفکیکی به‌ازای هر ارائه‌دهنده و، هرگاه ارائه‌دهنده‌ای آن را منتشر کرده باشد، زمان باقی‌مانده تا بازنشانی پنجرهٔ سهمیهٔ بعدی.

تنظیمات → فضای کاری → عامل‌ها → یک عامل را انتخاب کنید → گزارش‌ها اجراهای آن را با وضعیت، مدت، زمان‌های شروع و پایان، PID و آداپتور فهرست می‌کند. این زبانه هزینه را نشان نمی‌دهد — برای آن از جدول به‌ازای هر عامل در مشاهده‌پذیری → بینش‌ها استفاده کنید.

دو دستور اسلش، که در ویرایشگر پیام یک فضا تایپ می‌شوند، تنها اجراهایی هستند که سقف خرج دارند:

/goal ship the auth refactor --budget 20
/loop keep the flaky tests green
  • هر بخش از یک اجرای /goal یا /loop وقتی می‌ایستد که خرج قیمت‌گذاری‌شدهٔ آن به ۵۰۰ سنت (۵.۰۰ دلار) برسد. در ۸۰٪ آن، حلقه نخست مدل را هدایت می‌کند تا کار را جمع کند و یک تحویل تمیز به‌جا بگذارد، تا در میانهٔ کار نمیرد.
  • سقف یک هدف پایدارِ کامل ۵۰۰۰ سنت (۵۰.۰۰ دلار) است، مگر اینکه --budget <dollars> را بدهید. سرپرست بودجهٔ باقی‌ماندهٔ هدف را به هر بخش می‌رساند، بنابراین یک بودجهٔ صریح هرگز با یک بخش کامل از حد فراتر نمی‌رود.
  • --days N یک مهلت زمانی واقعی و --max N یک سقف شمار اجراها را اضافه می‌کند. هر دو اختیاری‌اند؛ بدون آن‌ها هدف تنها با هزینه محدود می‌شود.
  • هدفی که به دیوارش برسد، در budgetExhausted می‌ایستد و تنها با بالا بردن بودجه می‌توان آن را از سر گرفت.

چون سقف قیمت‌گذاری‌شده است، مدلی که فهرست نمی‌تواند قیمت‌گذاری کند هرگز به آن نمی‌رسد. به‌جایش چنین اجرایی با نگهبان تکرار حلقهٔ مرگ، تسلیم‌شدن سرپرست پس از سه شکست پیاپی و شما محدود می‌شود.

یک پیام در یک فضا، یک منشن @، یا یک گام پایپ‌لاین هیچ سقف خرجی ندارند. اجرا وقتی پایان می‌یابد که مدل بایستد، شما متوقفش کنید، یا نگهبان حلقهٔ مرگ هدایتش کند.

در ویرایشگر پیام فضا /compact را تایپ کنید. این دستور سمت کارخواه گرفته می‌شود و هرگز به رونوشت نمی‌رسد؛ سرور تاریخ قدیمی‌تر را در یک خلاصهٔ لنگرشده می‌گنجاند و گفتگو روی بافت فشرده‌شده ادامه می‌یابد.

فشرده‌سازی وقتی عاملی در میانهٔ نوبت است و وقتی چیزی به‌قدر کافی قدیمی برای گنجاندن نیست، رد می‌شود. هارنس داخلی هم خودبه‌خود فشرده‌سازی می‌کند، وقتی تاریخ به پنجرهٔ بافت مدل نزدیک می‌شود.

تلاش استدلال یک عامل (تنظیمات → فضای کاری → عامل‌ها) هر سطحی را که مدل انتخاب‌شده منتشر می‌کند ارائه می‌دهد. سطح‌های بالاتر توکن‌های استدلال بیشتری خرج می‌کنند. سطح‌های بالا را برای کاری نگه دارید که به آن‌ها نیاز دارد.

مدل را به‌ازای هر عامل انتخاب کنید

بخش با عنوان “مدل را به‌ازای هر عامل انتخاب کنید”

مدل فیلدی به‌ازای هر عامل است، بنابراین یک عامل قالب‌بندی یا تریاژ می‌تواند روی مدلی ارزان اجرا شود، در حالی که یک عامل معماری روی مدلی گران اجرا می‌شود. جدول به‌ازای هر عامل در مشاهده‌پذیری → بینش‌ها را بر اساس مدل فیلتر کنید تا ببینید کدام جفت واقعاً برایتان خرج می‌تراشد.

دنبال اجراهایی با شمار توکن بی‌تناسب بگردید

بخش با عنوان “دنبال اجراهایی با شمار توکن بی‌تناسب بگردید”

گزارش اجرای بینش‌ها (۵۰ اجرای فیلترشدهٔ تازه‌ترین) و کشوی رونوشت را روی هر چیز غیرعادی باز کنید. علت‌های رایج عبارت‌اند از یک پرامپت سیستمی یا پرسونای بیش‌ازحد طولانی، بافتی که باید فشرده می‌شد، و کاری که باید به چند کار کوچک‌تر تقسیم می‌شد.

اگر بودجه‌ای خارج از مسیر معمول تنظیم شود چه رخ می‌دهد

بخش با عنوان “اگر بودجه‌ای خارج از مسیر معمول تنظیم شود چه رخ می‌دهد”

برای کامل بودن، اگر monthlyBudgetCents یا یک سیاست بودجه مستقیماً در سطر یک عامل نوشته شود:

  • بودجه‌ها پس از کامل شدن اجرا ارزیابی می‌شوند، نه پیش از اعزام. شنونده‌ای روی کامل شدن اجرا، خرج عامل از ابتدای ماه را با سقفش مقایسه می‌کند.
  • عبور از آستانهٔ نرم (به‌طور پیش‌فرض ۸۰٪) یک رخداد هشدار ثبت می‌کند و رویداد BudgetThresholdCrossed را منتشر می‌کند که می‌توانید یک تریگر پایپ‌لاین به آن آویزان کنید.
  • تمام‌کردن بودجه یک رخداد سخت ثبت می‌کند، همان رویداد را منتشر می‌کند و وضعیت چرخهٔ عمر عامل را به paused برمی‌گرداند.
  • بلوک پیش از اعزام وجود دارد، اما تنها دروگر اجراهای یتیم و آشتی‌گر تیکت‌های سرگردان هنگام زمان‌بندی بازیابی به آن رجوع می‌کنند — یک اعزام معمولی هرگز به آن نمی‌رسد و هیچ‌چیز در مسیر اعزام وضعیت paused را بررسی نمی‌کند. تنها نشانهٔ قابل‌مشاهده، نشان چرخهٔ عمر در نمودار سازمانی است.