呼叫 AI API:依執行情境選擇線路
選擇用於 AI API 呼叫的 VPN,建議先確認請求從哪裡送出,再比較固定出口、並發能力與逾時設定。本機腳本、建置工作和正式環境服務可能使用不同的網路路徑。網頁能開啟,只代表瀏覽器使用的路徑可用,不代表終端機中的 SDK、容器或背景程序也走相同路徑。開始測試前,先確認 API 服務提供者對部署地區、帳號及資料處理的要求;網路連線不會改變這些要求。
| 呼叫情境 | 優先確認項目 | 驗收方式 |
|---|---|---|
| 本機除錯 | SDK 與終端機的代理設定 | 從實際開發程序送出請求,確認代理設定與回應狀態 |
| 白名單環境 | 可確認的固定出口 | 重新連線及故障切換後,確認來源 IP 仍在允許範圍內 |
| 互動式生成 | 首段內容與串流連續性 | 記錄等待首段內容的時間、片段間隔及是否正常結束 |
| 背景批次處理 | 並發容量、排隊情況與 API 配額 | 逐步增加受控負載,區分本機等待與上游拒絕 |
固定出口:IP 穩定不代表專用
固定出口是指遠端看到的來源公網 IP,在約定條件下維持不變。專用 IP 則代表該位址不與其他客戶共用,兩者並非同一項功能。節點名稱、所在區域或專線標示,都不能證明公網 IP 固定。若公司閘道或 API 專案採用來源 IP 白名單,應先查閱書面說明,確認 IP 是否保留、維護期間是否會變更,以及故障切換時會使用哪個出口。若備援 IP 不在白名單內,自動切換或許能恢復連線,請求卻仍可能遭到拒絕。
驗收時應從實際呼叫 API 的環境送出請求。優先查看具備權限的閘道記錄,確認來源 IP;或透過受控的 IP 回顯服務驗證相同路徑。若用戶端啟用了分流,IP 回顯服務的網域和 API 網域可能符合不同規則,不能直接用前者的結果證明後者。請分別在啟動、重新連線及切換後檢查,並確認應用程式是否可能透過另一種位址家族使用不同出口。請勿在 IP 驗證請求中附上 API 金鑰。
並發測試:分辨連線池、線路與 API 配額
並發請求數不等於底層連線數。連線重用可減少重複交握;支援多工時,多個請求也可能共用一條連線。串流請求則會持續占用連線池容量或串流槽位。若應用程式正在排隊等待可用連線,總耗時會增加,但不一定是線路壅塞。測試時,分開記錄排隊、建立連線、收到回應標頭及收到首段內容的時間;重用連線的請求應另行標記,不要直接與新建連線的請求比較。
- 建立基準。固定執行環境、模型、請求類型與輸入規模,以具代表性的小量負載確認請求能成功。串流與非串流分開測試,不要用下載速度測試取代。
- 分批增加負載。在允許的配額內逐步提高並發量,記錄成功、失敗、排隊時間及尾端延遲。比較候選線路時,維持相同的用戶端設定,避免同時調整連線池與線路。
- 依錯誤判斷原因。連線池等待先檢查應用程式的並發上限;建立連線失敗先檢查 DNS 解析、路由與交握;收到限流回應則查看錯誤碼細節及配額說明。HTTP 429 可能與請求、Token 或額度限制有關,不應視為切換線路的訊號。
- 於實際使用時段複測。在實際使用的時段重複相同情境,留意是否反覆出現慢速請求或串流中斷,不要只比較最快的一次。
逾時重試:依失敗階段配置時間預算
連線逾時限制建立連線的等待時間;是否包含 DNS 查詢與 TLS 交握,取決於用戶端的實作。許多用戶端所稱的讀取逾時,是等待下一次讀取的間隔,並非整個請求的執行時間上限。應用程式也應設定總截止時間,將排隊、送出請求、接收內容及重試一併納入。互動情境應優先控制使用者的等待時間;背景工作可採用不同預算,但應將逾時與取消訊號傳遞給實際執行請求的程式碼。
串流 API 收到回應標頭,不代表模型已開始回傳內容。中間代理也可能緩衝回應,累積多個片段後才傳送給用戶端。若很快收到回應標頭,首段內容卻遲遲未到,請先使用相同模型與輸入,比較直連基準和候選路徑,再檢查代理緩衝及上游生成時間。若串流開始後才中斷,記錄最後一個完整事件與結束原因,不要把未完成的輸出視為成功。
只對文件允許重試的暫時性失敗進行重試,並採用有上限的退避時間與隨機抖動;若上游提供等待指示,應優先遵循,並確認剩餘時間預算是否足夠。驗證錯誤、請求參數錯誤或額度不足,應先修正問題,不要持續重送。用戶端逾時也不代表伺服器沒有收到請求。對於可能產生費用或業務副作用的操作,先確認 API 是否支援冪等性金鑰;已向使用者顯示部分內容的請求,不宜在沒有提示的情況下重送,再直接拼接新的輸出。
上線前的驗收清單
直連、中轉與 IEPL 專線描述的是網路路徑,不是 API 功能。直連不需要額外的服務端中轉環節;中轉是先連入入口,再由入口轉送至出口;IEPL 專線可用來承載其中一段,但不代表從應用程式到 API 的整條路徑都經過專線。不要從線路名稱推定 IP 固定,也不要用節點清單上的延遲取代應用程式請求耗時。節點類型可參考線路頁面,最後仍須以實際呼叫結果驗收。
- ✅ 從部署環境確認 API 請求使用預期路徑,並驗證白名單情境下的重新連線與切換。
- ✅ 使用具代表性的負載測試排隊、首段等待及完整結束,並確認接近配額時應用程式如何調降並發量。
- ✅ 記錄保留可供判斷原因的請求識別碼、各階段耗時與狀態碼;不要記錄金鑰、認證標頭或含敏感資訊的提示詞。
- ❌ 不要僅憑瀏覽器可用、測速結果較快或單次請求成功,就決定正式上線。