·4 分鐘閱讀
Agent 遇到 429,一直重試可能只會更塞

Agent 的月帳單不高,也可能一直碰到限流。多個步驟同時啟動、對話越帶越長,重試又剛好撞上下一批工作;問題常在流量形狀,而不只是月用量。
HTTP 429 表示限流,回應可能帶 Retry-After,但實作與限制範圍不同。應讀實際錯誤與帳號規則,不把所有 429 當同一原因。可參考 MDN 狀態碼說明。
找出耗盡的是什麼
記錄錯誤內容、相關限制標頭、時間、模型、專案或帳號範圍,以及估計請求大小,診斷紀錄不要包含憑證。
分清短期請求限制、Token 預算、並行壓力,以及配額或計費問題。突發流量可能等待後恢復,帳號配額問題則可能需要調整帳號,重試不會增加額度。
送出前估算需求
假設限制為每分鐘 60 次請求、120,000 個計入預算的 Token。每步使用 6,000 Token,則 Token 預算約只容許每分鐘 20 步,比請求上限低很多。
一次啟動 25 步就需要 150,000 Token,「才 25 個請求」並不足夠。計入預算的 Token 如何定義,要依供應商確認,包括輸出預留量及輸入、輸出是否分開限制。
送出前先預留相關預算,再依服務實際計量方式核對。單筆大於整個限制時,應拆分、選合格替代路徑或拒絕,不能永遠排隊等不存在的容量。
佇列要有期限與上限
記錄入列時間、到期時間、優先順序與預估工作量。剩餘時間不足以啟動並完成,就清楚回報,不要在呼叫端離開後才生成答案。
互動與背景工作分配明確份額,避免批次匯入吃光容量;需要時加入租戶公平性。單一先到先處理的佇列,可能讓大客戶拖慢所有人。
佇列本身也要有界,否則上游短暫變慢會變成應用記憶體問題。
重試也必須重新取得預算
重試仍是新請求,應走相同准入控制。有供應商等待指示時遵循指示,否則使用有上限、帶隨機抖動的退避,並受總任務期限約束。
不要讓 SDK、網關與 Agent 各自擁有獨立重試預算。三層各最多三次嘗試,最壞巢狀情況可能放大到 27 次下游請求。指定重試負責層並記錄真實次數。
備援必須合格,而且容量不在同一個已耗盡池。相同帳號多一把金鑰,不一定增加獨立額度。
保留進度,避免整段重跑
保存已完成工具結果與任務狀態,暫時模型錯誤後從有效邊界繼續,不重做所有成功動作。有副作用的工具,重試前先確認動作是否已完成。
用任務結果衡量改善
追蹤每次嘗試的 429、期限內完成任務、排隊時間、准入拒絕、總嘗試次數與每個完成任務成本。讓使用者無限等待換來較低 429,不算改善。
可在 Tokatlas探索模型選項,再核對指定路徑限制。先控制可避免的突發;額外路由應搭配有界佇列,而不是掩蓋失控呼叫。