亞馬遜開放 SGLang-Neuron：Trainium 晶片可用熟悉的 SGLang 介面跑模型

亞馬遜11月12日宣布，SGLang-Neuron 即日起公開提供。開發者可通過 AWS 深度學習容器，在亞馬遜自研 AI 晶片 Trainium 上沿用熟悉的 SGLang 介面提供模型服務及生成強化學習訓練數據，無須改用另一套服務框架。

插件如何運作

SGLang-Neuron 是一個外掛式插件，把開源模型服務框架 SGLang 與 Trainium 連接起來，底層建基於 AWS 的原生 PyTorch 後端 TorchNeuron，系統會把 Trainium 註冊為 PyTorch 的原生裝置。安裝插件後，開發者沿用 SGLang 原有的伺服器介面和生成 API，只需設定 SGLANG_PLATFORM=neuron 即可切換到 Trainium。容器由 RadixArk 聯同 Annapurna Labs 發布。

覆蓋範圍與局限

此次公開提供之前，SGLang Trainium 插件於10月22日先向少數團隊開放有限測試，支援 Trainium2 及 Trainium3 兩代晶片，初期覆蓋 Qwen3、DeepSeek-V2-Lite 及 GLM 等模型。亞馬遜的示範以 Trainium3 雲端實例運行 openai/gpt-oss-120b 為例，設定為 10240 個 token 的上下文及最多 64 個並行請求——這只是示範設定，並非性能比較結果；亞馬遜亦未公布與其他晶片的性能或價格對比。（配圖為資料圖片。）