N環球 
BrainChip запускає процесор Sequora IP для запуску Generative AI на пристроях Edge з живленням від батарейок
Ядро процесора Sequora від BrainChip, випущене 21 жовтня, забезпечує генеративний штучний інтелект і LLM для крайніх пристроїв, що живляться від батарейок, таких як навушники та сенсорні вузли, з постійними вимогами до пам’яті завдяки оптимізації моделі простору станів. Тепер доступний для ліцензування.
Чому це важливо
Наступне поле битви в edge AI працює без хмари. 21 жовтня компанія BrainChip оголосила про випуск ядра IP-процесора Sequora, що дозволяє запускати генеративний штучний інтелект і великі мовні моделі безпосередньо на периферійних пристроях з живленням від батареї, таких як навушники та сенсорні вузли — від логічного висновку LLM на пристрої та голосової взаємодії до агентів штучного інтелекту, усі локальні, без даних, які надсилаються в хмару, покращуючи конфіденційність і затримку.
Sequora доповнює існуючий нейроморфний процесор компанії Akida IP: Akida обробляє потокові дані датчиків (вібрацію, аудіо, радар, необроблений RF IQ, біологічні сигнали), тоді як Sequora виконує генеративні та послідовні завдання ШІ.
Повний звіт
Ключовою технічною ставкою є оптимізація для моделей простору станів (SSM), які підтримують стан фіксованого розміру для представлення історії введення, зберігаючи вимоги до пам’яті постійними незалежно від довжини послідовності — підходить для генеративних робочих навантажень ШІ на пристроях з обмеженими ресурсами.
Sequora використовує уніфікований масив множення та накопичення (MAC) як для обробки сигналів, так і для обчислень нейронної мережі, усуваючи потребу в окремому етапі попередньої обробки DSP, а його архітектура набору інструкцій дозволяє розгортати нові алгоритми через оновлення програмного забезпечення.
IP-адреса вже доступна для ліцензування: переносимий процесом, повністю синтезований RTL-код, включаючи верифікаційний IP, тестовий стенд, сценарії синтезу та часові обмеження, а також SDK із компілятором статичних графів, бібліотекою середовища виконання C++ і модельним зоопарком. Клієнти інтегрують його у свою власну систему на чіпі та виготовляють на ливарному цеху та технологічному вузлі за своїм вибором.
Генеральний директор Шон Хехір сказав: «Клієнти не просять лише класифікатор сигналів чи мовну модель. Вони хочуть і те, і інше, в тому самому продукті, від однієї батареї».
Запуск перегукується з галузевою тенденцією: апаратне вузьке місце штучного інтелекту перемістилося від передової логіки до зрілих вузлів, а пропускна здатність пам’яті та вартість стали повідцем для генеративних моделей. Запуск моделей на межі з постійною пам’яттю — це новий шлях до зниження вартості слова.
💬 Comments
No comments yet. Be the first!