Tencent lança pesos abertos Hy4: carro-chefe de parâmetro 770B com novos termos de licença

A Tencent lançou em 20 de novembro o peso total de seu modelo principal Hy4 no Hugging Face, ModelScope e GitCode, incluindo a versão ajustada por instrução, uma versão quantizada FP8 e a base pré-treinada, junto com uma placa de sistema. Os pesos oficiais usam a nova licença Tencent Hy, sob a qual grandes fornecedores de modelos de API precisam de autorização por escrito separada.
A Tencent lançou os pesos completos de seu principal modelo Hy4 para download, disponível em Hugging Face, ModelScope e GitCode. O lançamento inclui o Hy4 ajustado por instrução, o Hy4-FP8 quantizado por FP8 e o modelo básico pré-treinado Hy4-base, junto com uma placa de sistema que descreve as capacidades e limites do modelo. Foi anunciado às 03h52 UTC de 20 de novembro ou às 22h52 EST de 19 de novembro.
770 bilhões de parâmetros, uma janela de um milhão de tokens
Hy4 usa uma arquitetura mista de especialistas (MoE) com 770 bilhões de parâmetros totais, cerca de 49 bilhões ativados por token, 78 camadas e uma janela de contexto de cerca de um milhão de tokens. Ele oferece suporte à compreensão de texto, imagem e vídeo, bem como ao uso do computador, e a Tencent forneceu guias de implantação para vLLM e SGLang para que os desenvolvedores possam executá-los em seu próprio hardware. O modelo em si permanece inalterado desde o seu lançamento oficial como um serviço API em 4 de novembro.
Nova licença: grandes fornecedores precisam de autorização separada
Notavelmente, a licença para os pesos oficiais difere da prévia de agosto, que usava o Apache 2.0. A versão completa usa a nova licença Tencent Hy. Derivado do Apache 2.0, ele adiciona uma condição para grandes modelos de provedores de API: produtos com receita anual acima de US$ 50 milhões ou mais de 100 milhões de usuários ativos mensais precisam de autorização separada por escrito da Tencent. Alguns relatórios ainda descrevem o lançamento como Apache 2.0, o que entra em conflito com o modelo da placa; o cartão modelo governa.
Da API aos pesos em um mês
Hy4 foi lançado pela primeira vez como API em 4 de novembro, com a Tencent prometendo que os pesos seguiriam; em 18 de novembro, o Hy4 Flash mais leve, com 220 bilhões de parâmetros, foi o primeiro a ter código aberto. Com os principais pesos agora abertos, os desenvolvedores não precisam mais usar o Hy4 apenas por meio da API da Tencent e podem implantá-lo, ajustá-lo e estudá-lo localmente. O lançamento aumenta a competição cada vez maior entre modelos de fronteira aberta e serviços API fechados.
N環球 
💬 Comments
No comments yet. Be the first!