·3 分鐘閱讀
相信一個 AI API 之前,先測一次不順利的下午

API 回傳 HTTP 200,使用者任務仍可能失敗:答案超時、串流中途斷掉,或資料根本不能被應用使用。可靠性評估應追到合格結果,而不是停在狀態碼。
先定義成功,再計數
假設文件標籤服務要求 12 秒內回傳有效 JSON,且標籤必須在允許清單內。25 秒才到就是逾時;回得很快但標籤無效也不合格。重試後恢復可以算任務成功,但額外成本與時間仍要記錄。
每筆保留任務 ID、嘗試 ID、路徑、開始時間、首位元組時間、完成時間、狀態、驗證結果、計費用量與最終結果。任務數和網路請求次數分開統計。
在受控環境跑故障矩陣
使用測試替身或核准的預備環境故障注入,不刻意破壞正式服務。模擬結果與真實供應商量測分開:模擬可驗證處理邏輯,不能量出供應商故障率。
注意分母代表什麼
假設一次測試啟動 1,000 個任務:930 個首次完成,40 個在期限內恢復,20 個太晚完成,10 個沒有可用結果。
期限內成功率是 970/1,000,也就是 97%。把 990 個最終完成結果報成 99% 可靠性,會藏掉 20 個逾時;只報 930 個首次成功,又忽略有效恢復。兩種指標都應保留。
延遲百分位也要說明樣本範圍。只計成功且快速的回應,可能出現更多慢任務失敗、p95 卻改善的假象。逾時與失敗應和延遲一起報告。
驗證備援輸出仍然合格
備援要重新核對格式、工具行為、資料限制、上下文容量與費用上限。另一個模型可能 JSON 有效,標籤品質卻不足;第二個端點也可能共用同一個受限上游帳號。
記錄實際使用路徑。無法解釋在哪裡恢復,就可能漏看政策違反或共同依賴。
指定事故由誰處理
寫清誰收告警、停用路徑、改重試規則及核對不確定帳單。狀態頁有參考價值,但不能代替你的帳號、區域與流程觀察。
試行期間保留觸發條件、受影響任務、實際行為、恢復動作與剩餘限制。修改規則後重跑受影響案例,不能拿無關的正常示範當作問題已解決。
依任務紀錄比較方案
候選方案使用相同工作量、期限、驗證規則與重試預算。流量變動較大時,拉長觀察期間;一小段乾淨測試只能證明該次條件下的表現。
可從 Tokatlas探索候選模型,再核實所需服務行為。可靠的結論應有邊界:在這些條件下,有多少任務於期限內產生可用結果。