OpenAI 高頻度の小さな判断に専用API

01公開ベータから正式提供へ

OpenAIは10月22日、GPT-6 Lunaを使うDecisions APIの正式提供を発表した。公開ベータと比べ、プロンプトキャッシュ、ネイティブなJSON入力、GPT-Liveとの連携が加わり、1回のリクエストで扱える質問数の上限は400に増えた。

02質問と回答の範囲を先に決める

開発者は質問、文脈、適用する選択肢や評価段階を指定する。APIは、条件が成立する推定確率、あらかじめ指定した選択肢のいずれか、または順序のある各段階をそれぞれの確率で重みづけして算出したスコアを返す。分類やリクエストの振り分けなどに使う仕組みだ。

小さな選択を個別に検証できる処理にする

H/ACC編集部の解釈：繰り返し発生する小さな選択を専用APIに切り出すことで、開発者は特定のタスクについて応答時間や誤判定を比較できる。会話全体がどれだけ滑らかに進むかだけで、システムを評価する必要はなくなる。回答の範囲を明確にし、アプリケーションの記録を残しておけば、エラーの分類や、問題が起きたケースの再生もしやすくなる。

カスタマーサポートの振り分けを例にすると、アプリケーションは、リクエストをどのキューに入れたか、その後に振り分けを変更したか、いつ有人対応に切り替えたかを記録できる。モデルの出力を判断材料としつつ、結果を受け入れる条件や後続処理の権限は、モデルの外側でアプリケーションが設定する。これらの工程がつながって初めて、判断の高速化を、より円滑なサービスにつなげられる可能性が生まれる。