ATC 2026 京东零售 AI Infra 推出 FlexMARL 多智能体强化学习训练框架

在 ATC 2026 技术会议上，京东零售 AI Infra 团队正式对外发布 FlexMARL 多智能体强化学习训练框架，该框架采用图驱动的采样与训练协同设计方案，专门面向基于大语言模型的大规模多智能体强化学习场景打造，能够解决传统框架负载不均衡、同步阻塞、硬件资源利用率偏低的痛点，在生产集群实测中最高可实现 7.3 倍训练加速，硬件资源利用率最高提升 5.6 倍，非常适配电商智能客服、多智能体调度、智能选品等零售业务场景下的大规模多智能体模型训练需求。当前市面上绝大多数多智能体强化学习框架都是基于单智能体场景开发而来，没有考虑多智能体之间的图拓扑依赖关系，在执行采样任务时容易出现任务偏斜，同时多智能体之间的同步等待会形成关键路径阻塞，再加上采样阶段与训练阶段争抢算力资源，最终造成算力浪费、训练迭代速度变慢。FlexMARL 从系统架构层面做了分层解耦，把采样 rollout 和模型训练拆分成两套独立的资源池，依靠多智能体执行图 MEG 与 MEG 存储中心统一调度数据，搭配分层负载均衡、异步流水线调度、按需弹性分配算力等机制，彻底解决多智能体训练场景下的资源冲突与同步瓶颈，让大模型多智能体训练可以平稳运行在企业级 GPU 集群之上。整套框架分为三大核心引擎模块，所有模块围绕统一的 MEG 存储中心完成数据交互，不需要频繁做数据搬运，减少跨节点通信开销。先由 Rollout 采样引擎基于依赖并行采样策略生成多智能体交互轨迹，自动平衡智能体内部与智能体之间的任务负载；再由联合调度器开启智能体级别的异步流水线，错开采样与训练的执行时间，消除关键路径等待；最后由 Training 训练引擎对每个智能体的训练进程做统一管控，支持跨节点灵活交换训练状态，实现算力按需分配。整套方案落地部署只需要完成架构部署、引擎配置、业务智能体接入三个环节，接入完成后就能直接承接电商多智能体业务的模型训练任务，大幅降低大规模 MARL 任务的工程落地门槛。依托这套框架，京东零售可以把多智能体强化学习能力落地到智能营销、仓储调度、订单智能分配等业务中，持续迭代智能体模型，提升业务智能化水平。

一、FlexMARL 整体架构与核心组件清单

1. 整体架构组成表

表格

2. 框架核心技术亮点

1. 图驱动执行机制：引入多智能体执行图 MEG，把智能体之间的协作依赖关系结构化，按照依赖关系并行生成交互轨迹，不会出现任务串行等待。
2. 采样与训练资源解耦：分开部署采样资源池与训练资源池，两类任务独立扩缩容，不再互相抢占 GPU 算力。
3. 微批次异步流水线：在微批次粒度上重叠采样与训练流程，不用等待整批数据全部生成再启动训练，缩短整体迭代周期。
4. 位置无关通信接口：跨节点智能体训练状态可以自由交换，集群节点故障不会中断整体训练任务，保障训练稳定性。

二、FlexMARL 部署与业务接入实施步骤

步骤 1：搭建底层存储与集群资源，部署 MEG 去中心化存储服务，分别划分独立的采样 GPU 资源池、训练 GPU 资源池，完成两套资源池的网络互通。

步骤 2：部署三大核心引擎，依次完成 Rollout 采样引擎、联合调度器、Training 训练引擎的容器化部署，配置引擎与 MEG 存储中心的数据读写接口。

步骤 3：导入业务智能体模型，接入基于 LLM 的多智能体业务逻辑，把智能体之间的协作关系转换成 MEG 执行图。

步骤 4：开启负载均衡配置，打开依赖并行采样开关，设置分层任务调度策略，平衡不同智能体的采样任务量。

步骤 5：启用异步流水线调度，错开采样与训练的执行时序，关闭全局同步等待机制，保障训练进程持续运行。

步骤 6：启动集群训练任务，持续采集训练速度、GPU 利用率、任务排队时长等指标，微调算力分配策略，持续优化加速效果。

步骤 7：对接零售业务场景，把训练完成的多智能体模型部署到线上，承接多智能体调度、智能交互等业务任务。

三、FlexMARL 在零售业务场景的应用价值

1. 大幅提升大模型多智能体训练效率，在集群环境下成倍缩短模型迭代周期，加快业务智能体的版本更新速度。
2. 显著提高 GPU 硬件利用率，减少算力资源闲置，降低企业大规模模型训练的硬件成本。
3. 适配电商多智能体协作场景，能够支撑智能客服集群、仓储多机器人调度、多节点订单分配等复杂业务模型训练。
4. 框架具备良好的通用性，除 LLM 多智能体任务外，还可以兼容传统 MARL 算法，覆盖绝大多数多智能体强化学习训练需求。

【相关 FAQ】

问题 1：ATC 2026 上京东零售 AI Infra 发布的 FlexMARL 多智能体强化学习训练框架，相比传统 MARL 框架主要优化了哪些问题？

回答 1：FlexMARL 重点优化了传统多智能体强化学习框架的三大痛点：一是解决多智能体拓扑带来的采样任务偏斜问题，依靠依赖并行采样实现负载均衡；二是破除多智能体训练里的关键路径同步阻塞，通过异步流水线减少等待耗时；三是将采样与训练资源解耦，实现算力按需分配，最终达成最高 7.3 倍训练提速、硬件利用率提升 5.6 倍的效果，更适合 LLM 大规模多智能体训练场景。

问题 2：FlexMARL 多智能体强化学习训练框架里的 MEG 存储中心，在整个训练流程中起到什么样的作用？

回答 2：MEG 存储中心全称多智能体执行图存储中心，是 FlexMARL 框架的数据枢纽，它把多智能体交互依赖关系固化为结构化执行图，采用去中心化多表存储方案，统一承接采样引擎输出的轨迹数据，同时向训练引擎稳定供给样本，减少跨节点频繁数据搬运，降低 IO 通信开销，保障采样与训练两条流水线高效流转。

问题 3：京东零售 AI Infra 推出的 FlexMARL 框架，是否可以直接应用在电商零售多智能体业务模型训练中？

回答 3：FlexMARL 是面向 LLM 多智能体场景设计的工业级训练框架，原生支持多智能体协作任务，能够直接用于电商智能客服集群、仓储多智能体调度、多节点订单分配等业务模型训练；同时框架兼容主流多智能体强化学习算法，接入门槛低，可以快速落地到京东零售各类智能化业务场景中。

问题 4：FlexMARL 框架采用采样与训练解耦架构，这种设计能带来哪些实际收益？

回答 4：FlexMARL 将采样 rollout 与模型训练拆分为两套独立资源池，两类任务可以根据自身负载独立扩缩容，不再互相争抢 GPU 算力；同时避免了资源分时复用带来的模型加载、数据卸载开销，从根源上减少资源浪费，有效把集群 GPU 硬件利用率提升至原有水平的 5.6 倍，降低大规模训练的硬件投入成本。

【数据来源】

[2026-10-27]（ATC 2026 FlexMARL 多智能体强化学习框架论文）arXiv 预印本平台

[2026-10-26]（京东零售 AI Infra FlexMARL 技术成果发布）ATC 2026 会议官网技术稿件

[2026-10-26]（FlexMARL 图驱动多智能体训练系统技术细节）京东云开发者社区

[2026-10-25]（FlexMARL 集群性能测试数据）技术论文 PDF 文档

[2026-10-24]（京东零售多智能体强化学习业务落地实践）InfoQ 技术专栏

免责声明：本文所有技术参数、架构方案、性能测试结果均来自 ATC 2026 公开论文、会议官方资料与技术预印文献；FlexMARL 框架的集群部署、业务智能体接入需要由具备分布式深度学习工程能力的技术人员完成；框架实际加速效果会受集群硬件配置、业务智能体数量、任务复杂度影响；本文仅作为技术科普内容，不构成项目开发、技术采购的决策依据。