N環球 
OpenAI の Decisions API が一般提供開始: 1 通話あたり 400 の質問、遅延はミリ秒まで短縮
OpenAI は、Decisions API をパブリック ベータ版から 10 月 22 日に一般提供に移行しました。GPT-6 Luna を利用しており、入力された回答 (確率、選択肢、スコア) のみを返します。リクエストごとに最大 400 の質問が可能で、入力トークン 100 万件あたり 0.10 ドルで、出力トークンの料金はかかりません。
なぜそれが重要なのか
チャットボットは散文を書きます。 Decisions API は、請求を承認するかどうか、どの部門がチケットを取得するか、バグの深刻度などを判断するだけです。アプリが 1 日に何千回も行う小さな意思決定を 1 つの API 呼び出しにバッチ処理できるようになり、リアルタイム ワークフローに十分な低遅延で実行できるようになりました。
完全なレポート
OpenAI の開発者コミュニティの 10 月 22 日の発表によると、Decisions API はベータ版を終了し、一般公開されました。 9 月 29 日の DevDay でプレビューされ、10 月 6 日にパブリックベータ版が公開され、23 日後に一般公開されました。
この API は、エンドポイント POST /v1/decions で GPT-6 Luna によって提供されます。散文は返さず、3 つの型付き回答のみを返します。述語 (条件が成立する 0 から 1 までの確率)、選択 (固定セットからの 1 つの値、すべての選択肢の確率と信頼度)、およびスコア (順序付けされたレベルに対する評価) です。 1 つのリクエストで最大 400 の質問を含めることができ、これはベータ制限の 2 倍です。新機能には、ネイティブ GPT-Live 音声統合、プロンプト キャッシュ、ネイティブ JSON 入力、および個別の質問説明の画像が含まれます。
価格について: キャッシュされていない入力トークン 100 万個あたり 0.10 ドル、キャッシュされた入力トークン 100 万個あたり 0.01 ドル、出力トークンの料金はかかりません。 OpenAI API 製品リーダーの Nikunj Handa 氏は、遅延が 1 ～ 3 秒から 100 ～ 180 ミリ秒に減少したと述べました。初期のトライアル顧客には言語学習アプリの Speak、Box、Datadog、Ramp が含まれており、Speak ではアクション間のギャップが 1.4 秒から 0.13 秒に短縮されたと報告しています。 OpenAIによると、このサービスは、同じ限定された決定を標準のResponse APIを通じてルーティングするよりも約10倍高速に実行されるという。
💬 Comments
No comments yet. Be the first!