Amazon ouvre SGLang-Neuron : les puces Trainium s'utilisent avec l'interface SGLang

Amazon a annoncé le 12 novembre que SGLang-Neuron est désormais accessible à tous. Les développeurs peuvent utiliser l'interface familière de SGLang pour servir des modèles et générer des données d'apprentissage par renforcement (RL) sur Trainium, les puces d'IA conçues par Amazon, via un conteneur AWS Deep Learning publié par RadixArk en collaboration avec Annapurna Labs.

Comment fonctionne le module

SGLang-Neuron est un module externe qui relie le cadre open source de service de modèles SGLang à Trainium, en s'appuyant sur TorchNeuron, l'interface PyTorch native d'AWS, qui enregistre Trainium comme un périphérique PyTorch natif. Les développeurs conservent l'interface serveur et les API de génération de SGLang et sélectionnent Trainium en définissant SGLANG_PLATFORM=neuron au démarrage du serveur.

Couverture et limites

Cette ouverture fait suite à une version bêta limitée lancée le 22 octobre auprès d'un petit groupe d'équipes, prenant en charge Trainium2 et Trainium3, avec une couverture initiale incluant les modèles Qwen3, DeepSeek-V2-Lite et GLM. La démonstration d'AWS exécute openai/gpt-oss-120b sur une instance EC2 Trainium3 avec un contexte de 10 240 jetons et jusqu'à 64 requêtes simultanées — des paramètres de déploiement à titre d'exemple, et non des résultats de performance comparatifs. Amazon n'a publié aucune comparaison de performance ou de prix avec d'autres puces. (Photo : photo d'archive.)