AWS 提出 Priming 技术方案，搭建混合模型提升大语言模型运行效率

AWS 研究团队推出 Priming 初始化方法，能够基于预训练 Transformer 大模型快速搭建注意力 + 状态空间模块的混合 LLM，在几乎不损失模型输出质量的前提下，大幅降低解码显存占用、缩短推理延迟，同时把混合模型的训练开销压缩到原有从零训练方案的 0.5% 以内，让研发人员低成本完成多组混合架构对比实验。之所以要开发这套 Priming 方案，核心是传统混合 LLM 必须从零开始完整预训练，需要消耗万亿级训练 token 与大量 GPU 算力，研发成本极高，很难批量测试不同层数替换、不同 SSM 模块搭配的组合；而现有预训练 Transformer 已经具备成熟的语言能力，只要把原有注意力层平稳替换成高效的状态空间层，再做简短对齐微调，就能低成本得到高性能混合模型。整套 Priming 方案可以拆成四个执行环节，先选定预训练基础模型并确定层替换方案，再完成权重迁移与层初始化，接着开展短期蒸馏对齐训练，最后做端到端微调恢复模型性能，整套流程不需要大规模预训练，能快速产出可用的混合大模型，兼顾推理速度与文本生成质量。

一、Priming 方法核心技术原理

1. 混合模型整体架构 混合模型由多头注意力层与 SSM 状态空间层组合而成：保留顶层注意力层保障长文本精准记忆，把中间大部分注意力层替换为 SSM 层，依靠 SSM 将历史信息压缩为固定大小状态，大幅缩小 KV 缓存体积，有效降低长序列推理时的内存开销。
2. Priming 初始化核心逻辑 直接复用预训练 Transformer 的权重参数，不需要随机初始化新网络；把待替换注意力层的权重做映射转换，迁移到对应 SSM 模块中，让新模块一开始就继承原模型学到的语言特征，避免从零训练带来的能力丢失。
3. 性能优化底层机制 经过 Priming 初始化后的混合模型，KV 缓存容量最多可减少 60%，长文本解码速度提升 30%~50%；同时仅用不足 0.5% 的原始预训练 token 量完成微调，算力成本下降超过 99%，兼顾效果与成本。

二、Priming 搭建混合 LLM 完整实施步骤

步骤 1：基础模型选型与层替换规划

选用 Llama、Mistral、Qwen 等主流预训练 Transformer 模型；选定需要替换的网络层，一般优先替换模型中段 30%~70% 的注意力层，顶层与底层保留注意力结构，保证长文本理解能力。

步骤 2：权重迁移与 SSM 模块初始化

读取原 Transformer 对应层的权重矩阵，做维度映射与参数缩放，把原有注意力层的知识迁移到新 SSM 层；完成模块接入，组装成注意力 + SSM 的混合网络结构。

步骤 3：短期层蒸馏对齐训练

采用知识蒸馏方案，把原始 Transformer 作为教师模型，让刚完成初始化的混合模型拟合教师模型的输出分布；仅使用少量文本数据做单轮对齐，让 SSM 层精准复刻原有注意力层的特征提取效果。

步骤 4：端到端后训练恢复整体性能

采用下一个 token 预测损失做全局微调，使用少量通用文本数据集，补齐混合模型整体能力；完成多轮测试，微调学习率与训练轮次，把模型效果恢复到接近原预训练大模型的水平。

步骤 5：多组架构批量对照测试

依托极低的训练成本，批量测试不同替换层数、不同 SSM 类型（Gated、Mamba 系列）的组合，筛选出延迟、显存、精度综合最优的混合模型配置。

三、Priming 方案实测效果清单

表格

四、Priming 技术适配范围

1. 模型种类：支持稠密大模型、MoE 混合专家模型，适配各类主流开源 Transformer 基座。
2. SSM 模块：兼容 Mamba、Gated SSM 等多种状态空间模块，可自由搭配不同层结构。
3. 应用场景：适合长文档处理、多轮对话、代码生成等长序列推理业务，能够显著降低线上部署的显存成本与推理时延。

【相关 FAQ】

问题 1：采用 Priming 方法构建混合 LLM，能不能把混合模型的训练成本降到极低水平？

回答 1：采用 Priming 方法构建混合 LLM，可以把混合模型训练成本降到极低水平，整套方案仅需要原模型 0.5% 以内的训练 token，算力开销相比从零预训练降低 99% 以上，大幅减少 GPU 资源投入。

问题 2：通过 Priming 初始化得到的混合 LLM，在长文本推理场景下效率提升效果如何？

回答 2：通过 Priming 初始化得到的混合 LLM，在长文本推理场景下效率提升十分明显，模型 KV 缓存体积可缩减 45% 至 62%，长序列解码速度提升 35%~50%，同时文本生成精度仅出现小幅回落。

问题 3：Priming 搭建混合 LLM 时，替换多少注意力层可以兼顾速度与模型能力？

回答 3：Priming 搭建混合 LLM 时，替换模型中段 30%~70% 的注意力层为 SSM 层最为合适，顶层与底层保留注意力结构，既可以大幅降低推理显存、加快解码速度，又能保证模型长文本理解能力不会出现明显下滑。

【数据来源】

[2026-10-12]（Priming：基于预训练 Transformer 构建混合状态空间模型）Amazon Science

[2026-10-12]（Priming: Hybrid State Space Models From Pre-trained Transformers）arXiv 论文库

[2026-10-15]（AWS 混合大模型 Priming 初始化技术实测数据）AWS 机器学习技术博客

[2026-10-18]（基于 Priming 的混合 LLM 架构批量实验指南）Amazon SageMaker 技术文档

免责声明：本文全部技术内容与实测数据均来自 AWS 公开研究论文与技术博客；Priming 方法的实际落地效果会受到基座模型版本、SSM 模块选型、训练数据集与硬件环境影响；文中技术方案仅作为研发参考，不构成生产环境落地的直接实施依据。