首页 >> 综合 > 快讯 >

AmazonScience 推进 SGLang Trainium 对接 AgentX 与 InferenceX

2026-11-14 07:10:30 来源:网易 编辑:夏思平 

亚马逊科学团队正在推动 SGLang Trainium 插件接入 AgentX、InferenceX 两大评测与智能体框架,简单来说就是让跑在 AWS Trainium 芯片上的 SGLang 推理引擎,能够直接对接智能体任务评测、大模型推理性能基准测试体系,方便开发者在 Train2、Train3 实例上跑 Agent 智能体任务,同时产出标准化的推理跑分数据。这次对接的底层基础是已经发布的 SGLang Trainium Beta 插件以及 TorchNeuron,这套插件原生支持 LLM 在线推理、强化学习 rollout 采样,自带 Radix 缓存、多维度并行、FP8 量化这些 SGLang 标志性优化,之前只能单独做模型服务,接入 AgentX、InferenceX 之后就补齐了智能体任务和标准化基准测试的能力,不用再单独改造调度、缓存和请求转发逻辑。

一、为什么要做 SGLang Trainium 接入 AgentX/InferenceX

  1. 统一评测口径:AgentX 面向 AI 智能体任务基准,InferenceX 面向推理性能跑分,接入之后,Trainium 上 SGLang 跑出的 token 吞吐、延迟、智能体任务成功率,可以和 GPU、TPU 上的 SGLang 结果直接横向对比。
  2. 适配智能体工作流:Agent 应用会有多轮调用、工具调用、长上下文、前缀复用场景,SGLang 的 RadixCache 刚好适配这类重复 prompt,接入后智能体任务成本更低。
  3. 降低迁移成本:开发者不用修改 SGLang 上层业务代码,底层通过 TorchNeuron 适配 Trainium,上层直接复用 AgentX、InferenceX 的任务脚本、评测脚本。
  4. 完善 Trainium 生态:补齐 AWS 自研芯片在智能体基准、第三方推理评测框架的短板,方便企业做 Agent 业务选型。

二、接入包含的核心能力清单

  • 硬件:支持 Trainium2、Trainium3 实例
  • 引擎:SGLang 原生调度、RadixAttention 前缀缓存、异步调度器
  • 并行策略:数据并行、张量并行、专家并行,适配 MoE 模型
  • 精度:BF16、FP8 量化
  • workload:标准 LLM 推理、RL rollout 采样、Agent 多轮工具调用任务
  • 对接框架:AgentX(智能体任务评测)、InferenceX(推理性能基准)
  • 当前阶段:Beta 阶段,持续扩充模型支持列表

三、接入的大致操作步骤

  1. 环境准备:部署 TorchNeuron,安装 SGLang Trainium Beta 插件,适配 Neuron SDK 对应版本
  2. 模型准备:选用当前支持的模型,如 Qwen3 系列、DeepSeek-V2-Lite、GLM 系列,完成模型编译与量化
  3. 启动 SGLang 服务:开启 RadixCache、并行策略,在 Trainium 实例拉起推理服务
  4. 对接 AgentX/InferenceX:配置框架请求地址,加载智能体任务集或者推理基准测试集
  5. 执行测试:跑 Agent 任务、吞吐 / 延迟压测,自动收集指标、生成对比报告
  6. 调优:根据缓存命中率、token 成本,调整批大小、并行策略、量化参数

四、现阶段限制说明

  • 还处在 Beta 适配阶段,模型支持范围有限,后续会持续新增前沿模型
  • AgentX 复杂多工具、长链路智能体任务还在持续打磨,部分极端场景需要微调调度参数
  • InferenceX 的部分专项跑分项目还在适配,暂未全部开放

整体来看,这次接入打通了 SGLang+Trainium 从模型服务、强化学习采样到智能体评测、标准化推理跑分的链路,让 AWS Trainium 芯片在 Agent AI 场景的可测性、可比性更强,后续生态完善后会更适合大规模部署 Agent 应用。

【相关 FAQ】

问题 1:SGLang Trainium 接入 AgentX/InferenceX 是什么意思?

回答 1:就是运行在 AWS Trainium 芯片上的 SGLang 推理引擎,适配 AgentX 智能体评测框架、InferenceX 推理基准框架,能直接跑智能体任务测试和推理性能跑分,统一对比指标。

问题 2:SGLang Trainium 支持哪些硬件来对接 AgentX、InferenceX?

回答 2:目前支持 Trainium2、Trainium3 实例,底层依赖 TorchNeuron 和 SGLang Trainium Beta 插件。

问题 3:SGLang Trainium 接入 AgentX 之后,对 Agent 智能体业务有什么好处?

回答 3:可以复用 SGLang 的 Radix 前缀缓存,智能体多轮对话、工具调用的重复请求命中缓存,降低单 token 成本,同时直接用 AgentX 的标准任务集做效果评测。

问题 4:SGLang Trainium 在 InferenceX 里主要测哪些指标?

回答 4:主要测 token 吞吐、首 token 延迟、上下文长序列性能、量化后的性能衰减,方便和 GPU、TPU 上 SGLang 做横向对比。

【参考资料】

[2026-10-22](Announcing the SGLang AWS Trainium Plugin Beta)LMSYS Org

[2026-11-04](Kimi K3.1 Pro: Day-0 Inference and RL Support with SGLang and Miles)SGLang Blog

[2026-11-12](AWS 机器学习博客)AWS

【免责声明】

本文内容仅为行业资讯整理,技术状态、功能支持范围以 AmazonScience、LMSYS、AWS 官方最新公告为准,不构成技术落地、采购选型建议,Beta 版本功能存在变动风险。

 
最新文章