N環球 N GLOBE
Технологія США

Thinking Machines випускає відкриту модель Inkling 2 Mini, яка працює локально на ноутбуці

· N GLOBE

Thinking Machines Lab випустила Inkling 2 Mini, відкриту модель із 26,4 мільярдами параметрів у пакеті приблизно 20 ГБ, який може працювати локально на Mac з 32 ГБ або одному DGX Spark за ліцензією Apache 2.0.

Thinking Machines Lab під керівництвом Міри Мураті 20 листопада випустила відкриту модель Inkling 2 Mini, представивши її як модель, яка працює локально на ноутбуці: 26,4 мільярда параметрів у пакеті приблизно 20 ГБ, який можна запускати на Mac з 32 ГБ або одному DGX Spark за ліцензією Apache 2.0.

Зациклена архітектура: думайте більше з меншою кількістю параметрів

Inkling 2 Mini використовує циклічну архітектуру трансформатора: із 24 шарів середні 12 запускаються тричі для кожного токена, що дозволяє моделі «кілька разів подумати» з меншою кількістю параметрів. Він активує 3,4 мільярда параметрів на маркер, або 5,4 мільярда ефективних параметрів з урахуванням циклів, із довжиною контексту 1 мільйон маркерів.

Продуктивність і ліцензування

Inkling 2 Mini набрав 79,2% результатів тестування SWE-bench Verified, провідного агентського кодування серед відкритих моделей із 100 мільярдами параметрів. Раніше цього місяця компанія відкрила вагу Inkling 2 Small; Mini — це легший новий член сімейства, орієнтований на розробників, яким потрібно розгортати локально або в обмежених середовищах.

💬 Comments

No comments yet. Be the first!