LeapQuant 推出免训练方案，支持 8 位、4 位循环状态量化

LeapQuant 是一套面向线性注意力循环状态的免训练量化方案，不需要微调、不需要标定数据，就能把长上下文模型里的循环状态压缩到 8 位，同时也支持进一步下压到 4 位，在尽量不损失模型输出精度的前提下降低显存流量、提升解码吞吐，专门解决 GDN、Kimi Delta Attention 这类线性注意力架构的推理瓶颈。普通逐 Token 循环状态量化最大的麻烦就是误差持续累积，每一步舍入偏差都会传到后面所有状态，再加上状态里面存在大量离群值，直接低比特压缩很容易让模型效果崩盘，而 LeapQuant 通过窗口量化、补偿 Token、残差平滑三样组合手段控制误差，不用改动模型权重，拿来就能套在已有的 Qwen、Kimi、GLM 系列模型上做部署。在官方测试里，8 位版本的效果几乎对齐 FP32 基准，内核层面提速 2.05–3.70 倍，端到端推理提速大约 1.47 倍，状态内存流量最多缩减 3.4 倍，整体显存占用最高下降 56%；4 位模式压缩率更高，适合显存极其紧张的场景，但相比 8 位，精度损失会明显变大，更适合对画质、答题准确度容忍度更高的业务。整套方案只针对循环状态，不是对模型权重做量化，可以和权重量化叠加使用，给长上下文服务、本地部署智能体提供更省资源的路线。

LeapQuant 三大核心技术

• 按窗口量化：不再每生成一个 Token 就量化一次循环状态，而是攒满一个窗口之后再统一重构、量化状态；窗口内部保留高精度更新缓存，大幅减少量化触发次数，切断误差持续累积。
• 补偿 Token（Compensator Tokens）：把状态中数值最大的离群分量单独用高精度保留，当作少量补偿 Token，走和普通 Token 一样的更新链路，避免离群值把量化区间撑大、压低其余数值精度。
• 残差平滑：把剥离离群分量之后剩下的残差做通道平滑，进一步缩小数值波动，降低低比特量化带来的失真。

量化档位对比

适配硬件与模型

• 测试 GPU：NVIDIA B200、RTX PRO 6000、RTX 5090
• 适配架构：Gated DeltaNet（GDN）、Kimi Delta Attention（KDA）等线性注意力
• 测试模型家族：Qwen、Kimi、GLM
• 使用约束：只作用于循环状态，不替换权重量化；长序列场景收益最明显

【相关 FAQ】

问题 1：LeapQuant 的免训练 8 位或 4 位循环状态量化，需要微调模型吗？

回答 1：不需要，LeapQuant 的 8 位或 4 位循环状态量化属于免训练方案，既不用微调权重，也不需要额外标定数据集，属于推理时外挂的状态压缩手段。

问题 2：LeapQuant 的 4 位循环状态量化和 8 位版本差别在哪？

回答 2：LeapQuant 的 4 位循环状态量化压缩更强、更省显存，但精度损失高于 8 位；8 位版本能够做到接近 FP32 的效果，更适合线上生产。

问题 3：LeapQuant 这套免训练循环状态量化，适合什么样的大模型？

回答 3：LeapQuant 的免训练循环状态量化面向采用线性注意力的模型，例如搭载 GDN、Kimi Delta Attention 的 Qwen、Kimi、GLM，主打长上下文解码。

问题 4：开启 LeapQuant 的 8 位循环状态量化之后，可以再叠加权重量化吗？

回答 4：可以，LeapQuant 只压缩循环状态，不和权重量化互斥，开发者可以搭配权重低比特方案，进一步压低整套模型的显存开销。

【参考资料】

[2026-09-29]（LeapQuant: Efficient Linear Attention with Accurate Recurrent State Quantization）arXiv

[2026-09-29]（LeapQuant: Accurate Quantization to Speed Up Linear Attention）nAIvigate

[2026-09-29]（LeapQuant 官方项目主页）LeapQuant

[2026-10-02]（线性注意力循环状态量化新方案 LeapQuant 解读）智源社区

【免责声明】

本内容仅为学术成果转述，不构成部署、采购建议；LeapQuant 的免训练 8 位、4 位循环状态量化效果受窗口大小、硬件、模型版本、提示词长度影响，实际性能与精度以官方论文、开源实现实测为准。