اخراجات منظم کریں
یہ گائیڈ بتاتی ہے کہ ایجنٹ رنز پر کتنی لاگت آتی ہے اور خود مختار رن کو کیسے حد میں رکھا جائے۔
لاگت کیسے ریکارڈ ہوتی ہے
سیکشن کا عنوان “لاگت کیسے ریکارڈ ہوتی ہے”ہر ایجنٹ رن ایک رن لاگ لکھتا ہے جس میں اس کے ان پٹ ٹوکنز، آؤٹ پٹ ٹوکنز، ریزننگ ٹوکنز، کیش شدہ ریڈ اور کیش شدہ رائٹ ٹوکنز، سینٹ میں ایک تخمینی لاگت، اور اس کے پیدا کردہ ذیلی ایجنٹس کی لاگت شامل ہوتی ہے۔
قیمتیں models.dev کیٹلاگ سے آتی ہیں، جسے صرف ماڈل کی فہرست کو قیمت اور کانٹیکسٹ ونڈو سے مالا مال کرنے کے لیے استعمال کیا جاتا ہے — ماڈل ids کے ماخذ کے طور پر کبھی نہیں۔ جس ماڈل کی قیمت کیٹلاگ نہ لگا سکے وہ $0 درج کرتا ہے اور صفر لاگت والے رنز استعمال اور لاگت کے خلاصے سے خارج رہتے ہیں۔ اس لیے ایک مقامی Ollama ماڈل بالکل کوئی خرچ نہیں دکھاتا، البتہ اس کے ٹوکن کی گنتی پھر بھی ریکارڈ ہوتی ہے۔ ایک فلیٹ ریٹ پلان (kimi-code، کوئی Claude سبسکرپشن) صرف اُس وقت ایسا ہی ہوتا ہے جب کیٹلاگ کے پاس خدمت انجام دینے والے ماڈل کی کوئی قیمت نہ ہو؛ اگر ہو، تو رن کا تخمینہ بہرحال انہی نرخوں پر لگایا جاتا ہے۔ فال بیک چین میں رن کی قیمت اُس ماڈل کے حساب سے لگتی ہے جس نے واقعی اسے انجام دیا، نہ اُس کے حساب سے جس کی درخواست کی گئی تھی۔
دیکھیں آپ کتنا خرچ کر رہے ہیں
سیکشن کا عنوان “دیکھیں آپ کتنا خرچ کر رہے ہیں”آبزرویبلٹی → بصیرتیں
سیکشن کا عنوان “آبزرویبلٹی → بصیرتیں”سائیڈبار کے فوٹر → آبزرویبلٹی سے وہاں پہنچیں۔ پہلے استعمال ٹیب کھلتا ہے (اب تک کے کل ٹوکنز)؛ لاگت کی اصل سطح کے لیے بصیرتیں — دوسرا ٹیب — پر جائیں:
- وقت کی حد چننے والا پکر: پچھلے 24 گھنٹے، پچھلے 7 دن، پچھلے 30 دن، یا تمام وقت
- ایجنٹ، ماڈل، اسٹیٹس اور کردار پر فیسٹڈ فلٹرز، بند کیے جا سکنے والے چپس کی صورت میں
- ایک KPI پٹی: کل رنز، کل لاگت، ایرر ریٹ، کیش ریٹ، ٹوکنز فی سیکنڈ، اوسط لیٹنسی اور پہلے ٹوکن تک کا وقت، ہر ایک کے ساتھ پچھلی مدت کے مقابلے تبدیلی (”تمام وقت“ پر چھپی رہتی ہے)
- ایکٹوٹی اور لاگت کے چارٹس، ساتھ میں کردار کے حساب سے لاگت کی تفصیل جو خرچ کو مرکزی ایجنٹ، اس کے ذیلی ایجنٹس اور اس کے ایڈوائزر میں تقسیم کرتی ہے
- فی ایجنٹ ٹیبل جو لاگت کے حساب سے ترتیب دی گئی ہے، پہلے دس کے ساتھ سب دکھانے کا ٹوگل۔ کسی قطار پر ٹیپ کرنے سے باقی ہر سطح اُسی ایجنٹ تک فلٹر ہو جاتی ہے
- تفصیلی رن لاگ، جو منتخب رن کے لیے ٹرانسکرپٹ دراز منسلک کر دیتا ہے
ترتیبات → سرور → ماڈل فراہم کنندگان
سیکشن کا عنوان “ترتیبات → سرور → ماڈل فراہم کنندگان”اس صفحے کا استعمال اور لاگت کارڈ گزشتہ سات دنوں کا مشاہدہ شدہ خرچ ایک واحد ڈالر عدد کی صورت میں دکھاتا ہے، ساتھ میں فی فراہم کنندہ تفصیل اور، جب کوئی فراہم کنندہ شائع کرے تو، اگلی کوٹہ ونڈو ری سیٹ ہونے تک کا وقت۔
ایک ایجنٹ کے رنز
سیکشن کا عنوان “ایک ایجنٹ کے رنز”ترتیبات → ورک اسپیس → ایجنٹس → کوئی ایجنٹ منتخب کریں → لاگز اس کے رنز اسٹیٹس، دورانیے، آغاز اور تکمیل کے اوقات، PID اور اڈاپٹر کے ساتھ فہرست کرتا ہے۔ یہ ٹیب لاگت نہیں دکھاتا — اس کے لیے آبزرویبلٹی → بصیرتیں میں فی ایجنٹ ٹیبل استعمال کریں۔
خود مختار رن کو حد میں رکھیں
سیکشن کا عنوان “خود مختار رن کو حد میں رکھیں”اسپیس کے کمپوزر میں ٹائپ کی جانے والی دو سلیش کمانڈز ہی واحد رنز ہیں جن پر خرچ کی حد ہوتی ہے:
/goal ship the auth refactor --budget 20/loop keep the flaky tests green- کسی
/goalیا/loopرن کا ہر سیگمنٹ اُس وقت رک جاتا ہے جب اس کا قیمت شدہ خرچ 500 سینٹ ($5.00) تک پہنچ جائے۔ اس کے 80% پر لوپ پہلے ماڈل کو اسٹیئر کرتا ہے کہ وہ کام سمیٹ کر ایک صاف حوالگی چھوڑ دے، تاکہ وہ کام کے بیچ میں نہ مرے۔ - ایک مکمل پائیدار گول 5000 سینٹ ($50.00) پر محدود ہوتا ہے، جب تک آپ
--budget <dollars>نہ دیں۔ سپروائزر گول کے باقی بجٹ کو ہر سیگمنٹ میں پہنچاتا ہے، اس لیے واضح بجٹ پر کبھی پورے سیگمنٹ سے تجاوز نہیں ہوتا۔ --days Nایک حقیقی-وقت کی آخری حد اور--max Nرنز کی گنتی کی چھت لگاتا ہے۔ دونوں اختیاری ہیں؛ ان کے بغیر گول صرف لاگت سے محدود رہتا ہے۔- جو گول اپنی دیوار چھُو لے وہ
budgetExhaustedپر رک جاتا ہے اور صرف بجٹ بڑھا کر ہی دوبارہ شروع کیا جا سکتا ہے۔
چونکہ یہ حد قیمت پر مبنی ہے، جس ماڈل کی قیمت کیٹلاگ نہ لگا سکے وہ اس تک کبھی نہیں پہنچتا۔ ایسا رن اس کے بجائے ڈوم-لوپ تکرار گارڈ، مسلسل تین ناکامیوں کے بعد سپروائزر کا ہار مان جانا، اور آپ سے حد میں رہتا ہے۔
کسی اسپیس میں بھیجا گیا پیغام، کوئی @-ذکر، یا کوئی پائپ لائن قدم خرچ کی کسی حد کے بغیر ہوتا ہے۔ رن اُس وقت ختم ہوتا ہے جب ماڈل رک جائے، جب آپ اسے روکیں، یا جب ڈوم-لوپ گارڈ اسے اسٹیئر کرے۔
ٹوکن کا استعمال کم کریں
سیکشن کا عنوان “ٹوکن کا استعمال کم کریں”طویل گفتگو کمپیکٹ کریں
سیکشن کا عنوان “طویل گفتگو کمپیکٹ کریں”اسپیس کے کمپوزر میں /compact ٹائپ کریں۔ یہ کمانڈ کلائنٹ کی طرف روک لی جاتی ہے اور ٹرانسکرپٹ میں کبھی نہیں پہنچتی؛ سرور پرانی تاریخ کو ایک اینکر شدہ خلاصے میں سمیٹ دیتا ہے اور گفتگو کمپیکٹ شدہ کانٹیکسٹ پر جاری رہتی ہے۔
کمپیکشن اُس وقت مسترد ہوتا ہے جب کوئی ایجنٹ ٹرن کے بیچ میں ہو اور جب سمیٹنے کے قابل اتنا پرانا کچھ نہ ہو۔ بلٹ اِن ہارنس بھی خود بخود کمپیکٹ کرتا ہے جب تاریخ ماڈل کی کانٹیکسٹ ونڈو کے قریب پہنچتی ہے۔
کوشش کی سطح سوچ سمجھ کر چنیں
سیکشن کا عنوان “کوشش کی سطح سوچ سمجھ کر چنیں”کسی ایجنٹ کا ریزننگ کا زور (ترتیبات → ورک اسپیس → ایجنٹس) وہی سطحیں پیش کرتا ہے جو منتخب ماڈل شائع کرتا ہے۔ اونچی سطحیں زیادہ ریزننگ ٹوکنز خرچ کرتی ہیں۔ سب سے اونچی سطحیں اُس کام کے لیے رکھیں جنہیں ان کی ضرورت ہو۔
فی ایجنٹ ماڈل چنیں
سیکشن کا عنوان “فی ایجنٹ ماڈل چنیں”ماڈل ایک فی ایجنٹ فیلڈ ہے، اس لیے فارمیٹنگ یا ٹرائیج ایجنٹ کوئی سستا ماڈل چلا سکتا ہے جبکہ آرکیٹیکچر ایجنٹ کوئی مہنگا چلاتا ہے۔ یہ دیکھنے کے لیے کہ اصل میں کون سا جوڑ آپ پر خرچ کر رہا ہے، آبزرویبلٹی → بصیرتیں میں فی ایجنٹ ٹیبل کو ماڈل کے حساب سے فلٹر کریں۔
حد سے زیادہ ٹوکن گنتی والے رنز تلاش کریں
سیکشن کا عنوان “حد سے زیادہ ٹوکن گنتی والے رنز تلاش کریں”بصیرتیں کا رن لاگ کھولیں (تازہ ترین 50 فلٹر شدہ رنز) اور کوئی بھی غیر معمولی چیز پر ٹرانسکرپٹ دراز۔ عام وجوہات ہیں: حد سے زیادہ طویل سسٹم پرامپٹ یا شخصیت، ایسا کانٹیکسٹ جسے کمپیکٹ ہونا چاہیے تھا، اور ایسا کام جسے کئی چھوٹے کاموں میں ہونا چاہیے تھا۔
اگر بجٹ کسی اور راستے سے سیٹ کیا جائے تو کیا ہوتا ہے
سیکشن کا عنوان “اگر بجٹ کسی اور راستے سے سیٹ کیا جائے تو کیا ہوتا ہے”مکمل تصویر کے لیے: اگر monthlyBudgetCents یا کوئی بجٹ پالیسی براہِ راست کسی ایجنٹ کی قطار میں لکھی جائے تو:
- بجٹ کا جائزہ رن مکمل ہونے کے بعد لیا جاتا ہے، ڈسپیچ سے پہلے نہیں۔ رن کی تکمیل پر ایک لسنر ایجنٹ کے مہینے کے اب تک کے خرچ کا اس کی چھت سے موازنہ کرتا ہے۔
- نرم حد (ڈیفالٹ میں 80%) عبور کرنے پر ایک انتباہی واقعہ درج ہوتا ہے اور ایک
BudgetThresholdCrossedایونٹ شائع ہوتا ہے جس پر آپ پائپ لائن ٹریگر لگا سکتے ہیں۔ - بجٹ ختم ہونے پر ایک سخت واقعہ درج ہوتا ہے، وہی ایونٹ شائع ہوتا ہے اور ایجنٹ کی لائف سائیکل اسٹیٹس
pausedہو جاتی ہے۔ - ڈسپیچ سے پہلے والا بلاک موجود ہے مگر ریکوری شیڈول کرتے وقت صرف یتیم-رن ریپر اور پھنسے-ٹکٹ ریکنسائلر ہی اس سے رجوع کرتے ہیں — ایک عام ڈسپیچ کبھی وہاں نہیں پہنچتا اور ڈسپیچ کے راستے میں کوئی چیز paused اسٹیٹس کی جانچ نہیں کرتی۔ واحد نظر آنے والا اشارہ آرگ چارٹ میں لائف سائیکل بیج ہے۔