N環球 N GLOBE
Công nghệ Trung Quốc

Tencent phát hành phiên bản mở Hy4: Flagship tham số 770B với điều khoản cấp phép mới

· N GLOBE

Tencent vào ngày 20 tháng 11 đã phát hành toàn bộ trọng lượng của mẫu hàng đầu Hy4 trên Hugging Face, ModelScope và GitCode, bao gồm phiên bản được điều chỉnh theo hướng dẫn, phiên bản lượng tử hóa FP8 và cơ sở được đào tạo trước, cùng với thẻ hệ thống. Các trọng số chính thức sử dụng Giấy phép Tencent Hy mới, theo đó các nhà cung cấp API mô hình lớn cần có ủy quyền bằng văn bản riêng.

Tencent đã phát hành toàn bộ trọng lượng của mẫu lớn Hy4 hàng đầu của mình để tải xuống, hiện có trên Hugging Face, ModelScope và GitCode. Bản phát hành bao gồm Hy4 được điều chỉnh theo hướng dẫn, Hy4-FP8 được lượng tử hóa FP8 và mô hình cơ sở được đào tạo trước Hy4-base, cùng với thẻ hệ thống mô tả các khả năng và giới hạn của mô hình. Nó được công bố lúc 03:52 UTC ngày 20 tháng 11 hoặc 22:52 EST ngày 19 tháng 11.

770 tỷ thông số, một cửa sổ triệu token

Hy4 sử dụng kiến trúc hỗn hợp các chuyên gia (MoE) với tổng số 770 tỷ tham số, khoảng 49 tỷ được kích hoạt trên mỗi mã thông báo, 78 lớp và cửa sổ ngữ cảnh gồm khoảng một triệu mã thông báo. Nó hỗ trợ hiểu văn bản, hình ảnh và video cũng như sử dụng máy tính và Tencent đã cung cấp hướng dẫn triển khai cho vLLM và SGLang để các nhà phát triển có thể chạy nó trên phần cứng của riêng họ. Bản thân mô hình này không thay đổi kể từ khi ra mắt chính thức dưới dạng dịch vụ API vào ngày 4 tháng 11.

Giấy phép mới: nhà cung cấp lớn cần ủy quyền riêng

Đáng chú ý, giấy phép cho các trọng lượng chính thức khác với bản xem trước tháng 8, sử dụng Apache 2.0. Bản phát hành đầy đủ sử dụng Giấy phép Tencent Hy mới. Bắt nguồn từ Apache 2.0, nó bổ sung một điều kiện cho các nhà cung cấp API mô hình lớn: các sản phẩm có doanh thu hàng năm trên 50 triệu USD hoặc hơn 100 triệu người dùng hoạt động hàng tháng cần có ủy quyền riêng bằng văn bản từ Tencent. Một số báo cáo vẫn mô tả bản phát hành là Apache 2.0, xung đột với thẻ mẫu; thẻ mô hình chi phối.

Từ API đến trọng số trong một tháng

Hy4 lần đầu tiên được phát hành dưới dạng API vào ngày 4 tháng 11, Tencent hứa hẹn các trọng số sẽ tuân theo; vào ngày 18 tháng 11, Hy4 Flash nhẹ hơn, với 220 tỷ thông số, lần đầu tiên được cấp nguồn mở. Với các trọng số hàng đầu hiện đã mở, các nhà phát triển không còn cần chỉ sử dụng Hy4 thông qua API của Tencent nữa mà có thể triển khai, tinh chỉnh và nghiên cứu nó tại địa phương. Bản phát hành này làm tăng thêm sự cạnh tranh ngày càng gay gắt giữa các mô hình biên giới có trọng lượng mở và các dịch vụ API đóng.

💬 Comments

No comments yet. Be the first!