API quyết định của OpenAI thường có sẵn: 400 câu hỏi cho mỗi cuộc gọi, độ trễ giảm xuống còn mili giây

Báo cáo đầy đủ

Theo thông báo của cộng đồng nhà phát triển OpenAI vào ngày 22 tháng 10, Decisions API đã hết giai đoạn thử nghiệm và thường có sẵn. Nó đã được xem trước tại DevDay vào ngày 29 tháng 9 và mở phiên bản beta công khai vào ngày 6 tháng 10, và có sẵn rộng rãi 23 ngày sau đó.

API được cung cấp bởi GPT-6 Luna ở điểm cuối POST /v1/decisions. Nó không trả về văn xuôi, chỉ có ba câu trả lời được gõ: vị ngữ (xác suất từ ​​0 đến 1 mà một điều kiện đúng), lựa chọn (một giá trị từ một tập hợp cố định, với xác suất cho mọi tùy chọn và độ tin cậy) và điểm số (xếp hạng theo các cấp độ được sắp xếp). Một yêu cầu có thể chứa tới 400 câu hỏi, gấp đôi giới hạn beta; các tính năng mới bao gồm tích hợp giọng nói GPT-Live gốc, bộ nhớ đệm nhanh chóng, đầu vào JSON gốc và hình ảnh trong hướng dẫn câu hỏi riêng lẻ.

Về giá: 0,10 USD trên một triệu mã thông báo đầu vào không được lưu vào bộ nhớ đệm, 0,01 USD trên một triệu mã thông báo đầu vào được lưu vào bộ nhớ đệm và không tính phí mã thông báo đầu ra. Trưởng nhóm sản phẩm API OpenAI Nikunj Handa cho biết độ trễ giảm từ 1–3 giây xuống 100–180 mili giây; khách hàng dùng thử sớm bao gồm ứng dụng học ngôn ngữ Speak, Box, Datadog và Ramp, trong đó Speak báo cáo khoảng cách giữa các hành động giảm từ 1,4 giây xuống 0,13 giây. OpenAI cho biết dịch vụ này chạy nhanh hơn khoảng 10 lần so với việc định tuyến các quyết định có giới hạn tương tự thông qua API phản hồi tiêu chuẩn của nó.