QwenGyre 超长程智能体强化学习框架技术解析

QwenGyre 是面向超长程智能体任务打造的端到端在线强化学习框架，能够解决长时序任务下 GPU 资源空转、执行轨迹冗余两大核心难题，在数十万 token 级别的长任务训练中，既能保障智能体持续运行不中断，又能把训练效率提升至原有基线的 1.78 倍以上，同时让大模型在代码类长周期任务上的任务完成率稳步提升。当下大模型智能体开始承接连续数小时运行、数百次环境交互的复杂任务，单次任务会产生接近 100 万 token 的执行数据，传统固定算力分配的强化学习方案会出现大量 GPU 等待空闲，再加上智能体不断分叉产生大量重复路径，训练样本快速膨胀，拉高整体训练成本。QwenGyre 从算力调度和数据处理两个方向同时优化，先依靠弹性调度器动态调配 GPU 算力，在不打断正在运行的智能体任务的前提下，把闲置算力从样本生成环节切换到模型训练环节，减少算力浪费；再依靠轨迹处理器整理所有分支执行记录，重建轨迹树、评估中途任务进度、剔除重复路径，把海量冗余轨迹压缩成精简可用的训练样本，把训练开销控制在合理范围。整套方案落地在 Qwen 3.8 2.4T 大模型上，针对 70 万 token 的超长执行轨迹开展测试，仅用 48 轮训练就把 NL2RepoBench 基准测试的指标从 52.5% 提升到 58.5%；横向对比 Colocate 与 Async 两种主流方案，最高分别实现 1.85 倍、1.78 倍的训练提速，整体适配代码智能体、自动化工作流等各类超长时序智能体场景。

一、框架整体架构

整套系统由两大核心模块协同运行，全程兼容未做改动的黑盒智能体执行程序，不需要修改原有智能体代码。

1. 弹性调度器（Elastic Scheduler）

• 将 GPU 资源拆分为多个独立弹性计算单元，每个单元既可以负责样本生成（rollout），也可以承担模型训练任务。
• 实时监控正在排队和运行的智能体任务数量，当待执行任务变少、算力出现富余时，自动把空闲计算单元切换到训练任务。
• 算力切换全程不会中断正在运行的长程任务，任务缓存、运行状态完整保留，不需要重新启动任务。

1. 轨迹处理器（Trajectory Processor）

• 把零散的模型调用记录整理成带共享前缀的轨迹树，还原智能体多分支执行的完整历史。
• 支持给未完成的任务打分，即便任务超时终止，也能根据中间进展生成有效奖励信号。
• 自动识别并剔除重复执行路径，限制单条任务生成的样本总量，避免训练数据无限制扩张。

二、完整运行步骤

1. 任务启动阶段：调度器分配足量 GPU 单元用于样本生成，启动多条超长程智能体任务，代理程序记录每一轮模型调用的 token 与日志信息。
2. 算力动态流转：持续监控任务队列水位，随着任务逐步完成，逐步把闲置 GPU 单元切换至训练集群，卫星节点同步主节点权重，加入批量训练。
3. 轨迹数据整理：处理器将所有执行记录构建成轨迹树，对分支路径做去重处理，只保留高价值样本，同时给中途终止的任务补充进度奖励。
4. 模型迭代训练：使用精简后的样本开展在线强化学习，对共享前缀的路径只计算一次损失，避免多分支样本造成权重过度倾斜，完成一轮模型更新。
5. 循环迭代：更新后的模型重新投入新一轮样本生成，持续往复，稳步提升超长程智能体的任务完成能力。

三、实测效果数据

表格

四、适配应用场景

1. 代码智能体：长时间完成项目开发、代码调试、多轮测试等连续任务。
2. 自动化运维智能体：跨多步骤执行系统排查、批量部署等长链路操作。
3. 科研类智能体：多轮调用工具开展实验、数据分析的超长周期任务。

【相关 FAQ】

问题 1：QwenGyre 超长程智能体强化学习框架主要解决了哪两类训练痛点？

回答 1：QwenGyre 超长程智能体强化学习框架主要解决两大痛点，一是超长任务执行时长波动大带来的 GPU 大面积空转问题，二是智能体非线性分支产生大量重复轨迹，造成训练数据冗余、训练成本过高的问题。

问题 2：QwenGyre 超长程智能体强化学习框架的弹性调度会不会打断正在运行的智能体任务？

回答 2：QwenGyre 超长程智能体强化学习框架的弹性调度不会打断正在运行的智能体任务，算力切换通过代理转发模型调用请求，任务运行状态、缓存信息全部保留，长程任务可以持续执行，不用重启重跑。

问题 3：QwenGyre 超长程智能体强化学习框架是如何控制超长轨迹带来的样本膨胀问题？

回答 3：QwenGyre 超长程智能体强化学习框架依靠轨迹处理器构建轨迹树，重建分支执行历史，同时对冗余路径做去重处理，还会限制单条任务的训练样本数量，对共享前缀的路径只计算一次损失，有效控制样本规模，抑制训练开销上涨。

【数据来源】

[2026-10-18]《攻克 70 万 Token 长程智能体训练！阿里千问重磅开源 QwenGyre》Prompt 语宙

[2026-10-12]《阿里推出 QwenGyre，强化学习框架用于超长程智能体任务》虎嗅网

[2026-10-12]《Alibaba Qwen Introduces QwenGyre: Elastic Reinforcement Learning RL for XLong-Horizon Agents》MarkTechPost

[2026-09-27]《QwenGyre: An Elastic Reinforcement Learning Framework for Training xLong-Horizon Agents》arXiv

免责声明：本文仅对 QwenGyre 超长程智能体强化学习框架的公开技术资料与实测数据进行整理解读，所有技术参数、性能结果均来自已公开的论文与行业资讯，不构成任何产品采购与技术落地的实施建议；框架实际落地效果会受硬件配置、任务场景、模型版本等多种条件影响，实际性能以本地部署实测结果为准。