AIMLAPIで429が返ったら、まずアプリとSDKの両方がリトライしていないか確認する
AIMLAPIの公式Python SDKドキュメントには、デフォルトで2回の自動リトライがあると記載されています。外側のタスクもリトライすると、リクエスト回数が重なります。本番導入前にリトライの管理責任を一本化し、パラメーターエラー、残高不足、レート制限を分けて処理すべきです。
複数のモデルを同じAPIに接続すると、連携コードを減らせますが、各モデルのパラメーター制約や障害時の動作が同じになるわけではありません。AIMLAPIを顧客向け機能に組み込もうとしているチームがまず確認すべきなのは、失敗時にシステムが何をするかです。1回のユーザー操作で実際に何回の呼び出しが発生し、いつ停止し、失敗後の対応を誰が引き継ぐのでしょうか。本稿は、公式のエラー説明、キーのドキュメント、Python SDKのREADMEを基に、こうした境界を分析しています。負荷テストは実行していません。
2層のリトライが1回の失敗を増幅する
公式Python SDKのREADMEによると、接続エラー、408、409、429、およびステータスコードが500以上のエラーは、デフォルトで2回自動リトライされます。max_retriesで回数の変更や無効化が可能です。この「2回のリトライ」は、最初の呼び出しとは別です。アプリの外側の層も失敗後に処理全体を2回リトライし、各SDK呼び出しが毎回リトライ可能なエラーに遭遇してデフォルトのリトライをすべて使い切ると仮定すると、1件の業務タスクで最大3 × 3 = 9回の試行が発生します。これは明示した仮定に基づく上限の計算例であり、プラットフォームで実測したトラフィックではなく、9回すべてが課金されるという意味でもありません。
ヘルプセンターでは429をレート制限または同時実行数の制限と説明し、リクエスト頻度の削減、バックオフ付きリトライ、キューへの投入を勧めています。外側の層が失敗を見るたびに即座に再送すると、同じ制限をさらに悪化させる可能性があります。一つの層でリトライの予算を一元管理し、各試行の理由と回数を記録したうえで、業務タスクに明確な停止条件を設定することを勧めます。ブラウザー、タスクキュー、SDKが、それぞれ独立して無制限の再送を決める状態にしてはいけません。
待ち時間も別途確認が必要です。SDKのREADMEに記載されたデフォルトのリクエストタイムアウトは10分で、timeoutによって設定できます。このデフォルト値を、そのまま顧客に約束する待ち時間として扱うことはできません。対話型機能には独自の総待ち時間の予算と明確なタイムアウト通知が必要です。バックグラウンドタスクでは、処理中、失敗、完了という実際の状態をユーザーが確認できるようにすべきです。
リトライでは解決しないエラーもある
公式のエラー表には、400の一例として、選択したモデルがmessages内のsystemロールをサポートしない場合が挙げられています。この場合は、そのモデルのschemaに従ってリクエストを修正すべきです。統一APIだからすべてのモデルが同じパラメーターを受け付けるとは考えないでください。代替モデルへ切り替える前にも、既存のメッセージ構造とタスク要件を受け入れられるか検証する必要があります。そうしなければ、サービスの縮退が別のリクエストエラーに変わってしまいます。
エラー表では、残高またはプランの利用枠を使い切った場合も403として挙げられています。429とは対応の方向性が異なり、前者ではアカウントの利用枠と予算の確認、後者では呼び出しペースの制御が必要です。監視では別々に分類し、機密内容を含まないリクエスト識別子とエラー情報を残すことを勧めます。成功以外の応答をすべて「モデルが混雑中」と分類してはいけません。また、自動チャージを障害診断の代わりにしてはいけません。
支出の制御はトラフィックの制御を代替しない
キーのドキュメントでは、API keyごとに支出上限を設定でき、上限に達するとそのキーによる追加費用の発生を防げます。リセット周期には日次、週次、月次などを選べ、UTCに基づいてリセットされます。また、キーから呼び出せるエンドポイントを制限することもできます。これらはプロジェクトの用途や支出範囲を分離するのに役立ちますが、支出上限は呼び出しレートの設定ではなく、重複した試行が起きないことを証明するものでもありません。
導入前に、制御された失敗シナリオでチームにログを確認してもらうとよいでしょう。400、403、429が区別されているか、実際の試行回数が予算内か、総待ち時間が製品要件を満たすか、代替モデルの互換性を確認したかを検証します。これらの問題の担当がまだ決まっていないなら、統一APIの利便性だけでは本番導入の約束を支えられません。この検収を終えてから、呼び出し量を増やします。
内容説明:本記事は公開情報をもとに整理した、ツール選定の参考情報です。機能、料金、関連ポリシーは随時変更される場合があります。最新の公式情報をご確認ください。
元の出典:github.com