N環球 N GLOBE
Технологія США

OpenAI Decisions API стає загальнодоступним: 400 запитань за виклик, затримка скорочена до мілісекунд

· N GLOBE

22 жовтня OpenAI переніс свій API рішень із загальнодоступної бета-версії на загальнодоступний: на базі GPT-6 Luna він повертає лише введені відповіді — ймовірність, вибір або оцінку — із до 400 запитань на запит, 0,10 дол. США за мільйон токенів введення та без плати за вихідний токен.

Чому це важливо

Чат-боти пишуть прозу; API рішень лише вирішує: схвалювати претензію чи ні, який відділ отримує заявку, наскільки серйозна помилка — невеликі рішення, які додатки приймають тисячі разів на день, тепер можна об’єднати в один виклик API із достатньо низькою затримкою для робочих процесів у реальному часі.

Повний звіт

Згідно з оголошенням спільноти розробників OpenAI від 22 жовтня, Decisions API вийшло з бета-версії та є загальнодоступним. Він був представлений на DevDay 29 вересня та відкритий для публічної бета-версії 6 жовтня, досягнувши загальної доступності через 23 дні.

API працює на базі GPT-6 Luna на кінцевій точці POST /v1/decisions. Він не повертає прозу, лише три введені відповіді: предикат (ймовірність від 0 до 1 того, що умова виконується), вибір (одне значення з фіксованого набору з ймовірністю для кожного варіанту та впевненістю) і оцінка (оцінка за впорядкованими рівнями). Один запит може містити до 400 запитань, що вдвічі перевищує бета-ліміт; нові функції включають власну голосову інтеграцію GPT-Live, кешування підказок, власний вхід JSON та зображення в інструкціях щодо окремих питань.

За ціною: 0,10 дол. США за мільйон некешованих вхідних токенів, 0,01 дол. США за мільйон кешованих вхідних токенів і жодної плати за вихідні токени. Керівник продукту OpenAI API Нікундж Ханда сказав, що затримка впала з 1–3 секунд до 100–180 мілісекунд; Клієнти першої пробної версії включають програми для вивчення мови Speak, Box, Datadog і Ramp, причому Speak повідомляє, що розрив між діями зменшився з 1,4 секунди до 0,13 секунди. OpenAI каже, що служба працює приблизно в 10 разів швидше, ніж маршрутизація тих самих обмежених рішень через стандартний API відповідей.

💬 Comments

No comments yet. Be the first!