N環球 N GLOBE
Китайские технологии

Tencent выпускает открытые веса Hy4: флагман с параметром 770B с новыми условиями лицензии

· N GLOBE

20 ноября компания Tencent опубликовала полную информацию о своей флагманской модели Hy4 на Hugging Face, ModelScope и GitCode, включая версию с настройкой инструкций, квантованную версию FP8 и предварительно обученную базу, а также системную карту. Официальные веса используют новую лицензию Tencent Hy, согласно которой поставщикам API крупных моделей требуется отдельное письменное разрешение.

Tencent опубликовала для скачивания полный вес своей флагманской большой модели Hy4, доступной на Hugging Face, ModelScope и GitCode. Релиз включает в себя настроенную по инструкциям Hy4, квантованную FP8 Hy4-FP8 и предварительно обученную базовую модель Hy4-base, а также системную карту, описывающую возможности и ограничения модели. Об этом было объявлено в 03:52 UTC 20 ноября или в 22:52 EST 19 ноября.

770 миллиардов параметров, окно в миллион токенов

Hy4 использует архитектуру смешанных экспертов (MoE) с общим числом 770 миллиардов параметров, около 49 миллиардов активированных на каждый токен, 78 слоями и контекстным окном, содержащим около одного миллиона токенов. Он поддерживает понимание текста, изображений и видео, а также использование компьютера, и Tencent предоставила руководства по развертыванию vLLM и SGLang, чтобы разработчики могли запускать его на своем собственном оборудовании. Сама модель не изменилась с момента ее официального запуска в качестве службы API 4 ноября.

Новая лицензия: крупным провайдерам нужна отдельная авторизация

Примечательно, что лицензия на официальные веса отличается от августовской предварительной версии, в которой использовался Apache 2.0. В полной версии используется новая лицензия Tencent Hy. Созданный на основе Apache 2.0, он добавляет условие для крупных поставщиков API-интерфейсов: продукты с годовым доходом выше 50 миллионов долларов США или более 100 миллионов активных пользователей в месяц требуют отдельного письменного разрешения от Tencent. В некоторых отчетах этот выпуск по-прежнему описывается как Apache 2.0, что противоречит карточке модели; модель карты управляет.

От API до весов за месяц

Hy4 был впервые выпущен как API 4 ноября, и Tencent пообещала, что веса последуют; 18 ноября первым был открыт исходный код более легкой версии Hy4 Flash с 220 миллиардами параметров. Теперь, когда флагманские веса открыты, разработчикам больше не нужно использовать Hy4 только через API Tencent, и они могут развертывать, настраивать и изучать его локально. Этот релиз усиливает конкуренцию между открытыми моделями и закрытыми API-сервисами.

💬 Comments

No comments yet. Be the first!