AmazonScience 推出 SGLang‑Neuron，打通 AWS Trainium 芯片上完整 SGLang 运行工作流

AmazonScience 联合 LMSYS 正式对外发布 SGLang-Neuron，也就是面向 AWS Trainium 的 SGLang 插件，目前处于 Beta 测试阶段，它依托全新的 TorchNeuron 原生 PyTorch 后端，让开发者可以直接在 Trainium 芯片实例上跑通整套 SGLang 工作流，包含大模型在线推理服务以及强化学习 rollout 生成，不用大规模改写原有业务代码，原本跑在 GPU 上面的 SGLang 服务，只需要少量改动就能迁移到 Trn2、Trn3 实例，借助 Trainium 本身的低成本算力优势，降低高并发大模型服务、RLHF 数据生成的单 token 成本，这套方案还接入 NKI 底层内核接口，允许开发者手写自定义加速内核进一步压榨性能，不过现阶段还是 Beta 版本，支持的模型范围、稳定性还在持续扩充，不适合直接上线核心生产业务。

SGLang-Neuron 核心能力清单

• ✅ 在线推理服务：支持 SGLang 原生的连续批处理、前缀缓存，提升并发吞吐
• ✅ 强化学习 Rollout：可稳定生成 RLHF、RLAIF 需要的大量样本，是这次重点优化方向
• ✅ 兼容原有 SGLang API：上层调用接口和 GPU 版本基本保持一致，迁移成本低
• ✅ 底层自定义内核：依托 NKI，编写专用算子，优化 MoE、注意力这类热点计算
• ✅ 分布式多芯片部署：支持多 Trainium 芯片并行，适配超大参数量大模型

SGLang-Neuron 和其他推理后端对比

在 AWS Trainium 部署 SGLang-Neuron 的操作步骤

1. 启动 Trn2 / Trn3 EC2 实例，选用预装 Neuron SDK 的深度学习 AMI。
2. 安装 TorchNeuron，再拉取 SGLang-Neuron Beta 插件，完成环境依赖配置。
3. 准备权重，使用支持的开源大模型，比如 Llama、Qwen 系列。
4. 在代码里切换后端到 neuron，保留原本 SGLang 的服务调用代码。
5. 如果需要更高性能，可以通过 NKI 接入自定义加速内核。
6. 启动服务，压测吞吐、延迟，验证推理或者 RL rollout 的输出效果。

对于要大批量生成强化学习样本、长期跑高并发大模型服务的团队来说，SGLang-Neuron 最大吸引力就是把 SGLang 这套成熟的调度能力带到 AWS 自研 AI 芯片上，不用被迫更换推理框架；但它毕竟还在 Beta，部分小众模型暂时无法适配，遇到动态形状、超长上下文的时候，还可能出现性能抖动，官方后续会持续补齐模型清单、修复稳定性问题。

【相关 FAQ】

问题 1：AmazonScience 推出的 SGLang-Neuron，能在 AWS Trainium 上面跑哪些工作流？

回答 1：AmazonScience 的 SGLang-Neuron 支持在 AWS Trainium 上运行 SGLang 的在线推理服务以及强化学习 rollout 生成工作流，也是这次发布最核心的两个负载。

问题 2：使用 SGLang-Neuron 在 AWS Trainium 部署，是不是要重写全部 SGLang 业务代码？

回答 2：不用，SGLang-Neuron 对齐原版 SGLang 的上层接口，原本在 GPU 上的业务代码只需要少量修改，就可以迁移到 AWS Trainium 实例。

问题 3：AmazonScience 发布的 SGLang-Neuron，现在是不是已经正式稳定上线？

回答 3：还没有，这套面向 AWS Trainium 的 SGLang-Neuron 当前处于 Beta 测试阶段，模型支持范围、稳定性还在迭代，不建议直接用于核心生产。

【参考资料】

[2026-10-22]（Announcing the SGLang AWS Trainium Plugin Beta）LMSYS Org

[2026-10-20]（AWS 推出 TorchNeuron，为 Trainium 提供原生 PyTorch 支持）AWS

[2026-10-21]（AmazonScience 联合 LMSYS 推出 SGLang-Neuron，支持 Trainium）机器之心

[2026-10-23]（SGLang-Neuron Beta：将 SGLang 工作流带入 AWS Trainium）智东西

【免责声明】

本文仅整理 AmazonScience 推出 SGLang-Neuron、支持 AWS Trainium 运行 SGLang 工作流的公开资讯，不构成云实例采购、推理框架选型、线上业务落地以及投资建议；SGLang-Neuron 属于 Beta 版本，支持模型、性能、接口后续可能调整，全部部署规范、硬件适配要求以 AmazonScience、LMSYS 以及 AWS 官方文档为准。