AmazonScience 推进 SGLang Trainium 对接 AgentX 与 InferenceX
亚马逊科学团队正在推动 SGLang Trainium 插件接入 AgentX、InferenceX 两大评测与智能体框架,简单来说就是让跑在 AWS Trainium 芯片上的 SGLang 推理引擎,能够直接对接智能体任务评测、大模型推理性能基准测试体系,方便开发者在 Train2、Train3 实例上跑 Agent 智能体任务,同时产出标准化的推理跑分数据。这次对接的底层基础是已经发布的 SGLang Trainium Beta 插件以及 TorchNeuron,这套插件原生支持 LLM 在线推理、强化学习 rollout 采样,自带 Radix 缓存、多维度并行、FP8 量化这些 SGLang 标志性优化,之前只能单独做模型服务,接入 AgentX、InferenceX 之后就补齐了智能体任务和标准化基准测试的能力,不用再单独改造调度、缓存和请求转发逻辑。
一、为什么要做 SGLang Trainium 接入 AgentX/InferenceX
- 统一评测口径:AgentX 面向 AI 智能体任务基准,InferenceX 面向推理性能跑分,接入之后,Trainium 上 SGLang 跑出的 token 吞吐、延迟、智能体任务成功率,可以和 GPU、TPU 上的 SGLang 结果直接横向对比。
- 适配智能体工作流:Agent 应用会有多轮调用、工具调用、长上下文、前缀复用场景,SGLang 的 RadixCache 刚好适配这类重复 prompt,接入后智能体任务成本更低。
- 降低迁移成本:开发者不用修改 SGLang 上层业务代码,底层通过 TorchNeuron 适配 Trainium,上层直接复用 AgentX、InferenceX 的任务脚本、评测脚本。
- 完善 Trainium 生态:补齐 AWS 自研芯片在智能体基准、第三方推理评测框架的短板,方便企业做 Agent 业务选型。
二、接入包含的核心能力清单
- 硬件:支持 Trainium2、Trainium3 实例
- 引擎:SGLang 原生调度、RadixAttention 前缀缓存、异步调度器
- 并行策略:数据并行、张量并行、专家并行,适配 MoE 模型
- 精度:BF16、FP8 量化
- workload:标准 LLM 推理、RL rollout 采样、Agent 多轮工具调用任务
- 对接框架:AgentX(智能体任务评测)、InferenceX(推理性能基准)
- 当前阶段:Beta 阶段,持续扩充模型支持列表
三、接入的大致操作步骤
- 环境准备:部署 TorchNeuron,安装 SGLang Trainium Beta 插件,适配 Neuron SDK 对应版本
- 模型准备:选用当前支持的模型,如 Qwen3 系列、DeepSeek-V2-Lite、GLM 系列,完成模型编译与量化
- 启动 SGLang 服务:开启 RadixCache、并行策略,在 Trainium 实例拉起推理服务
- 对接 AgentX/InferenceX:配置框架请求地址,加载智能体任务集或者推理基准测试集
- 执行测试:跑 Agent 任务、吞吐 / 延迟压测,自动收集指标、生成对比报告
- 调优:根据缓存命中率、token 成本,调整批大小、并行策略、量化参数
四、现阶段限制说明
- 还处在 Beta 适配阶段,模型支持范围有限,后续会持续新增前沿模型
- AgentX 复杂多工具、长链路智能体任务还在持续打磨,部分极端场景需要微调调度参数
- InferenceX 的部分专项跑分项目还在适配,暂未全部开放
整体来看,这次接入打通了 SGLang+Trainium 从模型服务、强化学习采样到智能体评测、标准化推理跑分的链路,让 AWS Trainium 芯片在 Agent AI 场景的可测性、可比性更强,后续生态完善后会更适合大规模部署 Agent 应用。
【相关 FAQ】
问题 1:SGLang Trainium 接入 AgentX/InferenceX 是什么意思?
回答 1:就是运行在 AWS Trainium 芯片上的 SGLang 推理引擎,适配 AgentX 智能体评测框架、InferenceX 推理基准框架,能直接跑智能体任务测试和推理性能跑分,统一对比指标。
问题 2:SGLang Trainium 支持哪些硬件来对接 AgentX、InferenceX?
回答 2:目前支持 Trainium2、Trainium3 实例,底层依赖 TorchNeuron 和 SGLang Trainium Beta 插件。
问题 3:SGLang Trainium 接入 AgentX 之后,对 Agent 智能体业务有什么好处?
回答 3:可以复用 SGLang 的 Radix 前缀缓存,智能体多轮对话、工具调用的重复请求命中缓存,降低单 token 成本,同时直接用 AgentX 的标准任务集做效果评测。
问题 4:SGLang Trainium 在 InferenceX 里主要测哪些指标?
回答 4:主要测 token 吞吐、首 token 延迟、上下文长序列性能、量化后的性能衰减,方便和 GPU、TPU 上 SGLang 做横向对比。
【参考资料】
[2026-10-22](Announcing the SGLang AWS Trainium Plugin Beta)LMSYS Org
[2026-11-04](Kimi K3.1 Pro: Day-0 Inference and RL Support with SGLang and Miles)SGLang Blog
[2026-11-12](AWS 机器学习博客)AWS
【免责声明】
本文内容仅为行业资讯整理,技术状态、功能支持范围以 AmazonScience、LMSYS、AWS 官方最新公告为准,不构成技术落地、采购选型建议,Beta 版本功能存在变动风险。
相关阅读
- 停飞 9 个月后复飞失败美国火神一箭 40 星全部损失
- Lisa 舞台把钱塞腰上引争议事件完整解读
- 使用 3 张假号牌轮换逃停车费 1830 元 被罚 5000 元记 12 分并拘留案例解读
- 限时大额券 金利来绵羊毛保暖内衣套装 69 元大促
- Qwen4-Max 在 Code Arena WebDev 榜单位列第 6 前端网页开发能力刷新国产模型记录
- 千万级阿斯顿・马丁 Valhalla 出街底盘刮蹭,网友感慨保费贵有原因
- AMD 提交 Linux 容量感知调度补丁,解决混合 CPU 大小核调度错乱问题
- 比亚迪 10 月方盒子车型销量出炉,方程豹钛 7 断层领跑细分市场
- 15 年前 i7-3960X 原生 8 核屏蔽为 6 核售卖,性能仅比 4 核 i7-2600K 快 2%
- 传统 CPU 顺利研发也要两年半,前 M1 架构师想用 AI 把 CPU 设计周期压到两年
- 孤独症男孩大博每月捡上万瓶子,店主发现他算数能力突出
- 苹果计划开启机海战术,2027 年一年推出 6 款 iPhone
- 21 款 RTX 5090 上架开售,最低报价约 4.7 万元
- 英特尔 Razor Lake 新料曝光,引入大 bLLC 缓存对标 3D V-Cache
- RTX5090 二手行情崩盘,部分型号二手价跌破 3 万
- 麒麟 9050 系列新增智能音视频处理,搭载 H.266 视频硬解码
-
公共关系的定义可以从主体,客体,媒介,目标,性质,职能这几个方面理解和把握,公共关系并不是简单请客送礼...浏览全文>>
-
阿玛尼小胖丁 504 在没有完全成膜之前是会粘头发的,完全干透成膜之后,粘头发的情况会明显减轻,这支属于哑...浏览全文>>
-
家常最常见的阿胶做法是熬制阿胶糕,也就是把阿胶块用黄酒泡软,加入冰糖黑芝麻核桃红枣等辅料,小火慢熬成膏...浏览全文>>
-
阿玛尼粉底液怎么使用核心要点是先做好护肤打底,再根据粉底液质地选择上妆工具,少量多次拍开,控制用量并且...浏览全文>>
-
美国联合发射联盟 ULA 的火神火箭,在停飞休整 9 个月之后重启发射任务,结果升空约 10 分钟就出现飞行...浏览全文>>
-
Lisa 在拉斯维加斯个人驻场秀表演《Money》时,将定制纪念钞塞进腰侧的短视频片段流出,迅速在网络引发巨大讨...浏览全文>>
-
有人为了逃避停车缴费,使用 3 张假号牌轮换使用,累计逃掉停车费 1830 元,最终被交警查获,处罚结果是罚...浏览全文>>
-
现在金利来绵羊毛保暖内衣套装正在限时大额券活动,400g 加厚款券后到手 69 元,还有 500g 版本到手 89...浏览全文>>
-
看完茶一片树叶的故事第一集之后,最深的感受是一片普通树叶并不只是饮品原料,它承载着中国人传承千年的生活...浏览全文>>
-
大家常说的阿里一般指阿里巴巴集团,集团总部设在浙江省杭州市,核心园区位于杭州西溪区域,同时在国内多个城...浏览全文>>
- 公共关系的定义 多维度理解要点
- 阿玛尼粉底液怎么使用 上妆完整操作教程
- Lisa 舞台把钱塞腰上引争议事件完整解读
- Qwen4-Max 在 Code Arena WebDev 榜单位列第 6 前端网页开发能力刷新国产模型记录
- 21 款 RTX 5090 上架开售,最低报价约 4.7 万元
- 阿里发布 Qwen4 Max,智能指数较上代提升 9 分、调用成本进一步降低
- 阿拉善沙漠相关介绍 三大沙漠统称详解
- 怎么在手机里面添加一键加速功能 安卓苹果操作详细教程
- 续航最远超 1000km,国产新世代宝马 iX3 正式投产,上市即可交付
- 内存涨价暴涨深层原因解析,过去十年行业持续亏损埋下病根,AI 只是直接导火索
- 阿胶的做法与步骤是什么阿胶的做法与步骤 阿胶糕熬制详细教程
- 黑豆苗怎么做好吃 家常烹饪详细方法
- 数学里面有加法和乘法应该先算什么 四则运算顺序讲解
- 比亚迪 10 月方盒子车型销量出炉,方程豹钛 7 断层领跑细分市场
- 传统 CPU 顺利研发也要两年半,前 M1 架构师想用 AI 把 CPU 设计周期压到两年
- 阿赖耶基础解释 唯识宗核心概念
- Qwen4-Max 升级编程与金融任务能力明显提升
- 阿拉伯序号顺序 编号规范深度讲解
- 奥睿科推出 FlashMem FM9800 AI SSD,搭载独立 pSLC AI Cache
- 申请一个菜鸟驿站 完整申请办理流程详解
- 口是心非是十二生肖里面什么动物 生肖谜语解析
- EpiPad 新技术把前臂变触控板 解决智能手表屏幕过小点按不准难题
- 广东人都不喜欢吃鲤鱼 民俗与口感原因解析
- 巧克力爱好者福利,怡浓黑巧 400g 促销到手价 39 元
- 醉翁之意不在酒的之是什么意思 文言虚词详解
- 阿迪达斯鉴定真假的方法阿迪达斯怎么鉴定真假 多维度鉴别全指南
- 星芒OSTA O1 Pro阔直板真机首曝看齐老大哥Pura X View
- 小伙想捡漏低价 RTX5080 显卡被骗 15800 元,低价显卡连环诈骗套路拆解
- 土豆球怎么做好吃又简单 家常酥脆做法详解
- zimbabwe 是哪个国家 基础地理深度详解
