Thinking Machines مدل باز Inkling 2 Mini را منتشر می کند که به صورت محلی روی لپ تاپ اجرا می شود

Thinking Machines Lab Inkling 2 Mini را منتشر کرده است، مدلی با وزن باز با 26.4 میلیارد پارامتر در یک بسته تقریباً 20 گیگابایتی که می تواند به صورت محلی بر روی یک مک 32 گیگابایتی یا یک DGX Spark، تحت مجوز Apache 2.0 اجرا شود.
Thinking Machines Lab به سرپرستی میرا موراتی، مدل با وزن باز Inkling 2 Mini را در 20 نوامبر منتشر کرد و آن را به عنوان مدلی معرفی کرد که به صورت محلی روی لپتاپ اجرا میشود: 26.4 میلیارد پارامتر در یک بسته تقریباً 20 گیگابایتی، قابل اجرا بر روی یک مک 32 گیگابایتی یا یک DGX Spark2. تحت Alice.0pa.
معماری حلقه ای: با پارامترهای کمتر بیشتر فکر کنید
Inkling 2 Mini از معماری ترانسفورماتور حلقه ای استفاده می کند: از 24 لایه آن، 12 لایه میانی سه بار برای هر توکن اجرا می شود و به مدل اجازه می دهد با پارامترهای کمتر "چند بار فکر کند". 3.4 میلیارد پارامتر در هر توکن یا 5.4 میلیارد پارامتر موثر با شمارش حلقه ها با طول زمینه 1 میلیون توکن فعال می شود.
عملکرد و صدور مجوز
Inkling 2 Mini در SWE-bench Verified امتیاز 79.2% را کسب کرد که کدگذاری عاملی پیشرو در بین مدلهای باز زیر 100 میلیارد پارامتر است. در اوایل این ماه، این شرکت وزنهای Inkling 2 Small را بهصورت متنباز منتشر کرد. Mini عضو جدید سبکتر خانواده است که برای توسعهدهندگانی طراحی شده است که نیاز به استقرار محلی یا محیطهای محدود دارند.
N環球 
💬 Comments
No comments yet. Be the first!