N環球 N GLOBE
tecnología china

Tencent lanza pesos abiertos Hy4: buque insignia de parámetros 770B con nuevos términos de licencia

· N GLOBE

El 20 de noviembre, Tencent lanzó los pesos completos de su modelo insignia Hy4 en Hugging Face, ModelScope y GitCode, incluida la versión ajustada con instrucciones, una versión cuantificada FP8 y la base previamente entrenada, junto con una tarjeta de sistema. Las ponderaciones oficiales utilizan la nueva licencia Tencent Hy, según la cual los proveedores de API de modelos grandes necesitan una autorización por escrito por separado.

Tencent ha lanzado para descargar los pesos completos de su modelo grande insignia Hy4, disponible en Hugging Face, ModelScope y GitCode. El lanzamiento incluye el Hy4 ajustado con instrucciones, el Hy4-FP8 cuantificado en FP8 y el modelo base preentrenado Hy4-base, junto con una tarjeta del sistema que describe las capacidades y límites del modelo. Se anunció a las 03:52 UTC del 20 de noviembre o a las 22:52 EST del 19 de noviembre.

770 mil millones de parámetros, una ventana de un millón de tokens

Hy4 utiliza una arquitectura de mezcla de expertos (MoE) con 770 mil millones de parámetros totales, alrededor de 49 mil millones activados por token, 78 capas y una ventana de contexto de aproximadamente un millón de tokens. Admite la comprensión de texto, imágenes y videos, así como el uso de computadoras, y Tencent ha proporcionado guías de implementación para vLLM y SGLang para que los desarrolladores puedan ejecutarlos en su propio hardware. El modelo en sí no ha cambiado desde su lanzamiento oficial como servicio API el 4 de noviembre.

Nueva licencia: los grandes proveedores necesitan una autorización separada

En particular, la licencia para los pesos oficiales difiere de la vista previa de agosto, que usaba Apache 2.0. La versión completa utiliza la nueva licencia Tencent Hy. Derivado de Apache 2.0, agrega una condición para los proveedores de API de modelos grandes: los productos con ingresos anuales superiores a 50 millones de dólares o más de 100 millones de usuarios activos mensuales necesitan una autorización por escrito separada de Tencent. Algunos informes aún describen la versión como Apache 2.0, lo que entra en conflicto con la tarjeta modelo; rige el modelo de tarjeta.

De API a pesas en un mes

Hy4 se lanzó por primera vez como API el 4 de noviembre y Tencent prometió que los pesos seguirían; el 18 de noviembre, el Hy4 Flash más ligero, con 220 mil millones de parámetros, fue el primero en ser de código abierto. Con los pesos emblemáticos ahora abiertos, los desarrolladores ya no necesitan usar Hy4 solo a través de la API de Tencent y pueden implementarlo, ajustarlo y estudiarlo localmente. El lanzamiento se suma a la intensificación de la competencia entre los modelos de frontera de peso abierto y los servicios API cerrados.

💬 Comments

No comments yet. Be the first!