Thinking Machines выпускает открытую модель Inkling 2 Mini, работающую локально на ноутбуке

Лаборатория Thinking Machines Lab выпустила Inkling 2 Mini, модель открытого веса с 26,4 миллиардами параметров в пакете размером примерно 20 ГБ, которая может работать локально на Mac с 32 ГБ памяти или на одном DGX Spark под лицензией Apache 2.0.
Лаборатория Thinking Machines Lab под руководством Миры Мурати 20 ноября выпустила модель Inkling 2 Mini с открытым весом, позиционируя ее как модель, которая работает локально на ноутбуке: 26,4 миллиарда общих параметров в пакете объемом примерно 20 ГБ, который можно запустить на Mac с 32 ГБ памяти или на одном DGX Spark под лицензией Apache 2.0.
Зацикленная архитектура: думайте больше с меньшим количеством параметров
В Inkling 2 Mini используется архитектура циклического преобразователя: из 24 слоев средние 12 запускаются три раза для каждого токена, что позволяет модели «обдумать несколько раз» с меньшим количеством параметров. Он активирует 3,4 миллиарда параметров на каждый токен или 5,4 миллиарда эффективных параметров, считая циклы, с длиной контекста 1 миллион токенов.
Производительность и лицензирование
Inkling 2 Mini набрал 79,2% баллов на SWE-bench Verified, став лидером в области агентного кодирования среди открытых моделей с более чем 100 миллиардами параметров. Ранее в этом месяце компания открыла исходный код весов Inkling 2 Small; Mini — более легкий новый член семейства, предназначенный для разработчиков, которым необходимо развертывать локально или в ограниченных средах.
N環球 
💬 Comments
No comments yet. Be the first!