API решений OpenAI становится общедоступным: 400 вопросов на вызов, задержка сокращена до миллисекунд

Полный отчет

Согласно объявлению сообщества разработчиков OpenAI от 22 октября, Decisions API вышел из бета-тестирования и общедоступен. Он был предварительно представлен на DevDay 29 сентября и открыт для публичной бета-версии 6 октября, а общедоступная версия стала доступна 23 дня спустя.

API работает на GPT-6 Luna в конечной точке POST /v1/decisions. Он не возвращает никакой прозы, только три типизированных ответа: предикат (вероятность от 0 до 1, что условие выполняется), выбор (одно значение из фиксированного набора, с вероятностью для каждого варианта и достоверностью) и оценка (рейтинг по упорядоченным уровням). Один запрос может содержать до 400 вопросов, что вдвое превышает бета-лимит; новые функции включают в себя встроенную голосовую интеграцию GPT-Live, кэширование подсказок, встроенные входные данные JSON и изображения в инструкциях по отдельным вопросам.

По цене: 0,10 доллара США за миллион некэшированных входных токенов, 0,01 доллара США за миллион кэшированных входных токенов и отсутствие платы за выходные токены. Руководитель продукта OpenAI API Никундж Ханда сообщил, что задержка снизилась с 1–3 секунд до 100–180 миллисекунд; В число клиентов ранней пробной версии входят приложения для изучения языка Speak, Box, Datadog и Ramp, при этом Speak сообщает, что разрыв между действиями сократился с 1,4 секунды до 0,13 секунды. OpenAI утверждает, что сервис работает примерно в 10 раз быстрее, чем маршрутизация тех же ограниченных решений через стандартный API ответов.