亚马逊开放 SGLang-Neuron：Trainium 晶片可用熟悉的 SGLang 介面跑模型

亚马逊11月12日宣布，SGLang-Neuron 即日起公开提供。开发者可通过 AWS 深度学习容器，在亚马逊自研 AI 晶片 Trainium 上沿用熟悉的 SGLang 介面提供模型服务及生成强化学习训练数据，无须改用另一套服务框架。

插件如何运作

SGLang-Neuron 是一个外挂式插件，把开源模型服务框架 SGLang 与 Trainium 连接起来，底层建基于 AWS 的原生 PyTorch 后端 TorchNeuron，系统会把 Trainium 注册为 PyTorch 的原生装置。安装插件后，开发者沿用 SGLang 原有的伺服器介面和生成 API，只需设定 SGLANG_PLATFORM=neuron 即可切换到 Trainium。容器由 RadixArk 联同 Annapurna Labs 发布。

覆盖范围与局限

此次公开提供之前，SGLang Trainium 插件于10月22日先向少数团队开放有限测试，支援 Trainium2 及 Trainium3 两代晶片，初期覆盖 Qwen3、DeepSeek-V2-Lite 及 GLM 等模型。亚马逊的示范以 Trainium3 云端实例运行 openai/gpt-oss-120b 为例，设定为 10240 个 token 的上下文及最多 64 个并行请求——这只是示范设定，并非性能比较结果；亚马逊亦未公布与其他晶片的性能或价格对比。（配图为资料图片。）