N環球 N GLOBE
중국 기술

Tencent, Hy4 개방형 가중치 출시: 새로운 라이선스 조건이 포함된 770B 매개변수 플래그십

· N GLOBE

11월 20일 Tencent는 시스템 카드와 함께 지침 조정 버전, FP8 양자화 버전 및 사전 훈련된 베이스를 포함하여 Hugging Face, ModelScope 및 GitCode에서 주력 모델 Hy4의 전체 가중치를 출시했습니다. 공식 가중치는 대규모 모델 API 제공업체에 별도의 서면 승인이 필요한 새로운 Tencent Hy 라이선스를 사용합니다.

Tencent는 Hugging Face, ModelScope 및 GitCode에서 다운로드할 수 있는 주력 대형 모델 Hy4의 전체 중량을 출시했습니다. 이 릴리스에는 모델의 기능과 한계를 설명하는 시스템 카드와 함께 명령 조정된 Hy4, FP8 양자화된 Hy4-FP8 및 사전 훈련된 기본 모델 Hy4-base가 포함되어 있습니다. 이는 11월 20일 03:52 UTC 또는 11월 19일 22:52 EST에 발표되었습니다.

7,700억 개의 매개변수, 백만 개의 토큰 창

Hy4는 총 7,700억 개의 매개변수, 토큰당 약 490억 개의 활성화, 78개의 레이어 및 약 100만 개의 토큰에 대한 컨텍스트 창을 갖춘 전문가 혼합(MoE) 아키텍처를 사용합니다. 컴퓨터 사용은 물론 텍스트, 이미지, 비디오 이해도 지원하며 Tencent는 개발자가 자신의 하드웨어에서 실행할 수 있도록 vLLM 및 SGLang에 대한 배포 가이드를 제공했습니다. 모델 자체는 지난 11월 4일 API 서비스로 공식 출시된 것과 변함이 없다.

신규 라이선스: 대규모 서비스 제공자는 별도의 승인이 필요함

특히 공식 가중치에 대한 라이선스는 Apache 2.0을 사용한 8월 미리보기와 다릅니다. 정식 릴리스는 새로운 Tencent Hy 라이선스를 사용합니다. Apache 2.0에서 파생된 이 버전은 대규모 모델 API 제공업체에 대한 조건을 추가합니다. 즉, 연간 수익이 미화 5천만 달러를 초과하거나 월간 활성 사용자가 1억 명을 초과하는 제품은 Tencent의 별도 서면 승인이 필요합니다. 일부 보고서에서는 여전히 해당 릴리스를 모델 카드와 충돌하는 Apache 2.0으로 설명합니다. 모델 카드가 적용됩니다.

한 달 만에 API부터 가중치까지

Hy4는 11월 4일에 API로 처음 출시되었으며 Tencent는 가중치가 뒤따를 것이라고 약속했습니다. 11월 18일에는 2,200억 개의 매개변수를 갖춘 더 가벼운 Hy4 플래시가 최초로 오픈 소스화되었습니다. 이제 주요 가중치가 공개됨에 따라 개발자는 더 이상 Tencent의 API를 통해서만 Hy4를 사용할 필요가 없으며 이를 로컬에서 배포, 미세 조정 및 연구할 수 있습니다. 이번 출시로 개방형 프론티어 모델과 폐쇄형 API 서비스 간의 경쟁이 더욱 치열해졌습니다.

💬 Comments

No comments yet. Be the first!