N環球 N GLOBE
Американские технологии

Thinking Machines выпускает открытую модель Inkling 2 Mini, работающую локально на ноутбуке

· N GLOBE

Лаборатория Thinking Machines Lab выпустила Inkling 2 Mini, модель открытого веса с 26,4 миллиардами параметров в пакете размером примерно 20 ГБ, которая может работать локально на Mac с 32 ГБ памяти или на одном DGX Spark под лицензией Apache 2.0.

Лаборатория Thinking Machines Lab под руководством Миры Мурати 20 ноября выпустила модель Inkling 2 Mini с открытым весом, позиционируя ее как модель, которая работает локально на ноутбуке: 26,4 миллиарда общих параметров в пакете объемом примерно 20 ГБ, который можно запустить на Mac с 32 ГБ памяти или на одном DGX Spark под лицензией Apache 2.0.

Зацикленная архитектура: думайте больше с меньшим количеством параметров

В Inkling 2 Mini используется архитектура циклического преобразователя: из 24 слоев средние 12 запускаются три раза для каждого токена, что позволяет модели «обдумать несколько раз» с меньшим количеством параметров. Он активирует 3,4 миллиарда параметров на каждый токен или 5,4 миллиарда эффективных параметров, считая циклы, с длиной контекста 1 миллион токенов.

Производительность и лицензирование

Inkling 2 Mini набрал 79,2% баллов на SWE-bench Verified, став лидером в области агентного кодирования среди открытых моделей с более чем 100 миллиардами параметров. Ранее в этом месяце компания открыла исходный код весов Inkling 2 Small; Mini — более легкий новый член семейства, предназначенный для разработчиков, которым необходимо развертывать локально или в ограниченных средах.

💬 Comments

No comments yet. Be the first!