Tencent が Hy4 オープンウェイトをリリース: 新しいライセンス条項を備えた 770B パラメータのフラッグシップ

Tencent は 11 月 20 日、Hugging Face、ModelScope、GitCode 上の主力モデル Hy4 の全重量をリリースしました。これには、命令調整バージョン、FP8 量子化バージョン、事前トレーニング済みベースが含まれ、システム カードも含まれます。公式の重み付けには新しい Tencent Hy License が使用されており、大規模モデルの API プロバイダーには別途書面による許可が必要です。
Tencent は、同社の主力大型モデル Hy4 の全重量をダウンロード用にリリースし、Hugging Face、ModelScope、GitCode で入手できます。このリリースには、命令調整された Hy4、FP8 で量子化された Hy4-FP8、および事前トレーニングされた基本モデル Hy4-base に加えて、モデルの機能と制限を説明するシステム カードが含まれています。これは11月20日の03:52 UTC、または11月19日の22:52 ESTに発表されました。
7,700 億のパラメータ、100 万トークンのウィンドウ
Hy4 は、合計 7,700 億のパラメータ、トークンごとにアクティブ化される約 490 億、78 のレイヤー、および約 100 万トークンのコンテキスト ウィンドウを備えた専門家混合 (MoE) アーキテクチャを使用します。テキスト、画像、ビデオの理解とコンピューターの使用をサポートしており、Tencent は開発者が独自のハードウェアで実行できるように、vLLM と SGLang の導入ガイドを提供しています。モデル自体は 11 月 4 日に API サービスとして正式にリリースされたときから変更はありません。
新しいライセンス: 大規模プロバイダーには個別の認可が必要
特に、公式の重みのライセンスは、Apache 2.0 を使用した 8 月のプレビューとは異なります。フルリリースでは、新しい Tencent Hy ライセンスが使用されます。 Apache 2.0 から派生したもので、大規模モデル API プロバイダー向けの条件が追加されています。年間収益が 5,000 万ドルを超える製品、または月間アクティブ ユーザー数が 1 億人を超える製品には、Tencent からの書面による個別の承認が必要です。一部のレポートでは依然としてこのリリースを Apache 2.0 として説明していますが、これはモデル カードと競合します。モデルカードが支配します。
APIから月の体重まで
Hy4 は 11 月 4 日に API として初めてリリースされ、Tencent は重みもそれに続くと約束しました。 11 月 18 日、2,200 億のパラメータを備えた軽量の Hy4 Flash が最初にオープンソース化されました。主力の重みがオープンになったことにより、開発者は Tencent の API を通じてのみ Hy4 を使用する必要がなくなり、ローカルで展開、微調整、研究できるようになりました。このリリースにより、オープンウェイト フロンティア モデルとクローズド API サービスの間の競争がさらに激化します。
N環球 
💬 Comments
No comments yet. Be the first!