Thinking Machines がラップトップ上でローカルに動作するオープン モデル Inkling 2 Mini をリリース

Thinking Machines Lab は、約 20 GB のパッケージに 264 億個のパラメータを備えたオープンウェイト モデルである Inkling 2 Mini をリリースしました。このモデルは、Apache 2.0 ライセンスに基づいて、32 GB Mac または単一の DGX Spark 上でローカルに実行できます。
Mira Murati 氏が率いる Thinking Machines Lab は、オープンウェイト モデル Inkling 2 Mini を 11 月 20 日にリリースし、ラップトップ上でローカルに実行するモデルとして売り込みました。約 20GB のパッケージに合計 264 億のパラメータが含まれ、Apache 2.0 ライセンスに基づいて 32GB Mac または単一の DGX Spark 上で実行可能です。
ループ型アーキテクチャ: 少ないパラメータでより多くのことを考える
Inkling 2 Mini はループ トランスフォーマー アーキテクチャを使用しています。24 レイヤーのうち、中央の 12 レイヤーはトークンごとに 3 回実行され、モデルが少ないパラメーターで「何度も考える」ことができます。トークンごとに 34 億個のパラメータ、またはループをカウントすると 54 億個の有効なパラメータがアクティブ化され、コンテキストの長さは 100 万トークンになります。
パフォーマンスとライセンス
Inkling 2 Mini は、SWE ベンチ検証で 79.2% のスコアを獲得し、1,000 億パラメータの下でオープン モデルの中でエージェント コーディングをリードしました。今月初め、同社は Inkling 2 Small の重りをオープンソース化しました。 Mini は、ファミリーの中でより軽量な新しいメンバーで、ローカルまたは制約のある環境にデプロイする必要がある開発者を対象としています。
N環球 
💬 Comments
No comments yet. Be the first!