N環球 N GLOBE
Китайська технологія

Tencent випускає відкриті ваги Hy4: флагман із параметрами 770B із новими умовами ліцензії

· N GLOBE

Tencent 20 листопада опублікував повну вагу своєї флагманської моделі Hy4 на Hugging Face, ModelScope та GitCode, включаючи версію з налаштуваннями інструкцій, квантовану версію FP8 і попередньо навчену базу разом із системною карткою. Офіційні ваги використовують нову ліцензію Tencent Hy, відповідно до якої постачальники API великих моделей потребують окремого письмового дозволу.

Tencent опублікував повну вагу своєї флагманської великої моделі Hy4 для завантаження, доступну на Hugging Face, ModelScope та GitCode. Випуск містить налаштовану за інструкціями Hy4, квантовану за FP8 Hy4-FP8 і попередньо навчену базову модель Hy4-base разом із системною карткою, що описує можливості та обмеження моделі. Про це було оголошено о 03:52 UTC 20 листопада або о 22:52 EST 19 листопада.

770 мільярдів параметрів, вікно з мільйонами токенів

Hy4 використовує архітектуру змішаних експертів (MoE) із 770 мільярдами загальних параметрів, близько 49 мільярдів активованих на маркер, 78 шарами та контекстним вікном близько одного мільйона маркерів. Він підтримує розуміння тексту, зображень і відео, а також використання комп’ютера, і Tencent надав посібники з розгортання vLLM і SGLang, щоб розробники могли запускати його на власному обладнанні. Сама модель не змінилася з моменту її офіційного запуску як служби API 4 листопада.

Нова ліцензія: великим провайдерам потрібен окремий дозвіл

Примітно, що ліцензія на офіційні ваги відрізняється від серпневої попередньої версії, яка використовувала Apache 2.0. Повний випуск використовує нову ліцензію Tencent Hy. Похідний від Apache 2.0, він додає умову для постачальників великих моделей API: продукти з річним доходом понад 50 мільйонів доларів США або понад 100 мільйонів активних користувачів щомісяця потребують окремого письмового дозволу від Tencent. Деякі звіти все ще описують випуск як Apache 2.0, який конфліктує з модельною карткою; модель картки керує.

Від API до ваг за місяць

Hy4 був вперше випущений як API 4 листопада, і Tencent пообіцяв, що вагові коефіцієнти будуть наслідувати; 18 листопада запальничка Hy4 Flash з 220 мільярдами параметрів була першою відкритою. Оскільки флагманські ваги тепер відкриті, розробникам більше не потрібно використовувати Hy4 лише через API Tencent і вони можуть розгортати, налаштовувати та вивчати його локально. Випуск посилює конкуренцію між відкритими граничними моделями та закритими службами API.

💬 Comments

No comments yet. Be the first!