首页 >> 综合 > 快讯 >

Lev 决策模型推出以循环深度替代 Token 长度实现按需加深的 System 1.5 推理

2026-11-02 10:25:12 来源:网易 编辑:巩枝以 

Lev 决策模型正式推出,创新采用循环深度替代传统 Token 长度来扩展推理步数,成功落地按需加深的 System 1.5 式推理模式,同一套模型权重可以灵活调整推理循环次数,简单题目只执行少量循环快速给出结果,复杂题目自动增加循环轮次持续优化隐藏状态,全程不用生成额外文本 Token,既保留了 System1 快速决策的低延迟优势,又具备 System2 深度推演的高准确率,在 JevBench 评测数据集上,2.6B 版本模型从 1 轮循环提升至 4 轮循环时,答题准确率从 63.2% 提升至 76.2%,搭配自动停止控制器之后,整体计算量可以降低 15%~24%,同时准确率下降幅度控制在 1 个百分点以内,兼顾推理速度与模型精度,大幅降低决策类任务的算力开销。

一、技术创新的核心缘由

1. 传统推理方案存在算力浪费

以往大模型想要加深思考,只能依靠生成更长的思维链 Token,每增加一步推理就要解码一段文字,简单题目和难题都要产生等量文本,大量算力消耗在文本生成环节;而且一旦固定 Token 上限,模型无法自主调整思考深度,容易出现简单题过度计算、难题思考不足的情况。

2. System 1 与 System 2 模式缺少中间方案

System1 单次前向推理速度极快,但思考深度固定,复杂问题容易出错;System2 依靠长文本思维链做深度推理,但是延迟高、成本贵。行业一直缺少兼顾速度与深度的中间方案,Lev 模型的循环推理刚好补齐了 System 1.5 这一区间的技术空白。

3. 循环架构能够复用同一组网络权重

循环结构让同一层 Transformer 网络反复迭代计算,不需要扩充模型参数,仅靠增加循环轮次就能提升推理深度,一套模型权重就能适配多种推理预算,不需要为不同难度任务单独训练多个模型版本。

二、Lev 模型核心技术方案

1. 核心机制:循环深度替代 Token 长度

传统深度扩展方式:生成更多 Token,依靠文本续写完成多步思考,产生大量解码开销。

Lev 循环深度方案:只在模型隐藏状态内反复迭代网络层,每完成一轮循环就读取一次选项概率,全程不输出文本 Token,依靠循环轮次控制思考深度。

表格

项目传统 Token 加长方案Lev 循环深度方案
深度控制方式调整生成 Token 数量调整网络循环轮次
文本输出产生大量思维链文字无额外文本输出,直接输出决策概率
权重版本不同深度需要独立模型单权重支持 1~ 多轮任意循环深度
额外开销Token 解码算力成本仅增加少量前向计算,无文本开销

2. 按需加深:自动停止控制器

  1. 控制器实时读取每一轮循环后的答案置信度;
  2. 设定置信度阈值,当模型输出置信度达标,立刻终止循环,直接输出决策结果;
  3. 置信度不足时自动开启下一轮迭代,持续修正隐藏状态,直到达到最大循环上限;
  4. 控制器基于无标注数据完成阈值拟合,不需要额外标注样本,就能实现题目难度自适应计算量分配。

3. System 1.5 推理模式实现路径

  1. 基础模式(System1):只执行单轮前向计算,低延迟直接给出选择结果,适用于常规简单决策任务;
  2. 进阶模式(System1.5):开启循环迭代,依靠多轮循环反复修正判断,在不生成文本的前提下完成深度思考;
  3. 整套推理始终保持决策模型输出形态,只输出候选选项概率,不进行开放式文本生成,大幅减少幻觉问题。

三、模型落地执行步骤

  1. 模型预训练阶段:将基础语言模型改造为循环式网络,完成多轮循环联合训练,让模型具备多次迭代优化隐藏状态的能力,每一轮循环都加入损失约束,保证多轮迭代效果稳定提升;
  2. 停止控制器训练:使用无标注测试数据拟合置信度阈值,训练轻量化判断模块,实现自动识别题目难易度,自主决定继续循环还是停止推理;
  3. 推理部署调试:设置最小循环次数与最大循环次数,上线后开启动态深度策略,对批量请求自动分配循环轮次,简单请求少算、复杂请求多算;
  4. 效果迭代优化:持续统计不同循环深度下的准确率与算力消耗,微调置信阈值,持续平衡推理精度与计算成本。

四、整体落地效果总结

Lev 决策模型依靠循环深度替代 Token 长度,成功实现了 System 1.5 式自适应推理,单套权重覆盖从浅思考到深思考的全部场景;自动停止机制做到了按需加深,把整体算力开销降低 15%~24%,精度损失控制在极小范围;同时全程不生成思维链文本,消除了 Token 解码带来的延迟与成本,非常适合 Agent 工具选择、业务分类、多选项判断等高频决策场景,为轻量化深度推理提供了成熟可行的技术路线。

【相关 FAQ】

问题 1:Lev 决策模型用循环深度替代 Token 长度,相比加长 Token 的传统方案优势是什么?

回答 1:Lev 决策模型用循环深度替代 Token 长度,最大优势是不用生成额外文本,消除 Token 解码带来的算力与延迟开销;单套权重就能自由切换推理深度,不用训练多个模型版本;搭配停止控制器可以做到按需加深,简单题目少循环、难题多循环,避免算力浪费,同时实现 System 1.5 兼顾速度与精度的推理效果。

问题 2:Lev 决策模型如何完成按需加深的 System 1.5 式推理?

回答 2:Lev 决策模型依靠循环迭代机制完成按需加深的 System 1.5 式推理,首先依靠循环网络在隐藏状态内反复迭代计算,不用生成 Token 就能拓展思考深度;再依靠轻量化停止控制器读取每一轮循环的答案置信度,置信达标就立刻停止计算,置信不足则自动开启新一轮循环;简单任务只执行一轮循环,保持 System1 的快速响应,复杂任务自动增加循环轮次,实现介于快速直觉与深度推演之间的 System 1.5 推理能力。

问题 3:Lev 决策模型开启循环深度推理之后,算力与准确率表现如何?

回答 3:Lev 决策模型开启循环深度推理后,在 JevBench 测试集上,2.6B 模型 4 轮循环相比 1 轮循环,准确率提升 13 个百分点;开启按需加深策略后,整体计算量减少 15%~24%,准确率下滑不超过 1 个百分点,在大幅节省算力的同时,维持了高水平推理精度,很好平衡了开销与效果。

【数据来源】

[2026-10-26](不写思维链,多转几圈就更准?Lev:让同一份权重按题决定 “想多深” 的循环决策模型)我爱计算机视觉

[2026-10-01](Lev: Thinking Fast and Deep with Looped Decision Models)arXiv 论文官网

[2026-11-02](让决策模型学会「难题多想」:Lev 用循环代替思维链)新浪财经

[2026-10-06](SanSi: A Looped Typed Decision Model for System 1.5 Thinking)arXiv 论文官网

【免责声明】

本文内容全部来自公开学术论文与行业技术资讯,仅客观梳理 Lev 决策模型循环深度与 System 1.5 推理的技术方案;模型实际运行的准确率、算力节省比例会随硬件环境、任务类型、阈值参数产生合理波动;循环次数、置信阈值等部署参数需要结合自身业务场景实测调试,本文内容不构成模型工程落地的唯一实施标准。

 
最新文章