星凡智能芯片研究院再出成果：从端侧推理到端侧持续学习的三项协同创新

更进一步，如果它这次没拿稳杯子，下次能不能根据反馈调整？这又不只是“算得快”的问题。

此前，星凡智能与西安交通大学自主系统与智能芯片研究团队合作成立星凡智能芯片研究院，由国家级高层次人才特聘教授、西安交通大学人工智能学院执行院长孙宏滨教授同时担任星凡智能联合创始人、首席芯片科学家，领衔20余名硕博研究人员围绕模型算法、芯片架构与软硬件协同设计推进研究。

围绕模型轻量化、高效推理和片上训练，星凡智能与西安交通大学自主系统与智能芯片研究团队已形成三项协同创新成果。

01｜性能保持的低比特模型轻量化技术

给模型“减重”，有点像整理一个容量有限的行李箱：东西可以压紧，重要物品却不能弄丢。低比特量化能够减少模型占用的空间，但如果所有信息都用同一种方式压缩，模型作判断时需要的细节也可能受损。

难点还在于，重点会变。以“拿起杯子”这句话作示意：模型处理不同输入时，内部更需要保留的信息并不总落在同一批通道上。这就像舞台上的主角走动了，追光灯却还照着原来的位置。补偿做了，关键处仍可能没照到。

我们的做法，是先识别重要通道及其关联，再构建可按输入选择的低秩补偿专家。通俗地说，不再提前认定“永远只有这几处最重要”，而是让补偿跟着当前输入的重点走。下图所示方案将 256 个动态通道组织为 8 个路由专家；在所展示的实验条件下，最高实现 4.5 倍加速，精度损失控制在 2% 以内。

上图构建低秩误差补偿适配器和专家路由，通过对不同模态及token的自适应误差优化，显著提升模型精度。

02｜高性能低功耗的大模型推理架构

模型运行时，并非每一步计算都要从头做一遍。好比解一道题，有些中间结果可以沿用；但为了赶时间随手跳过关键算式，答案就可能出错。

端侧推理也是如此：全部照算，时间和电量吃紧；跳得太粗，又可能损害结果。我们研究的是哪些计算可以省、哪些必须认真算：先做轻量预测，能复用的结果就复用，需要保真的部分仍精确计算，同时让硬件适应这种不均匀的工作量。

上图推理过程大模型不同层及不同计算阶段对模型精度的敏感性差异显著，存在大量可挖掘的细粒度冗余。

上图设计由多模式预测单元、稀疏负载均衡单元和精确计算单元构成的专用加速架构

我们将“判断哪些计算可以跳过”与“怎样在硬件上高效执行”放在一起设计：先以轻量方式预测，再复用已有结果，对需要保真的部分执行精确计算；硬件则配合处理跳算后不均匀的计算负载。在 PPT 所示实验中，平均计算跳过率达到 71.74%，实现 3.14 倍加速和 1.82 倍能效提升。

03｜高能效低开销的模型片上训练架构

回到拿杯子的例子：机器人这次没拿稳，下次重新识别杯子、再试一次，是根据已有能力作判断；如果它要把这次失手变成经验，调整模型以改善之后的表现，就涉及模型更新。

后者比推理更费资源。除了作出判断，还要计算如何调整参数，并反复读取、搬运相关数据。

过去用于加速推理的方法，不能直接照搬到训练中。要把持续适应能力逐步带向端侧，必须重新考虑训练的计算方式和芯片数据通路。

针对该难题，我们从模型更新本身寻找可以利用的规律：哪些变化幅度较小，哪些计算能够共享，哪些中间数据可以减少访问；再让芯片的数据流与这些算法相匹配。

图中展示的片上训练研究原型上可以看出，在相应实验条件下实现面积效率提升 2.19 倍、能效提升 1.85 倍。

上图基于预训练模型片上微调呈现权重变化小、组内更新可共享，提出奇异值分解和近似统计BN层计算等技术。

上图通过支持多种稀疏计算模式与基于稀疏数据编码的压缩电路，实现高效轻量化的片上训练计算芯片架构。

这是一条面向下一代端侧芯片的研究路径，当前，星核S2已在研发中，将引入近存计算、3D堆叠、Chiplet先进封装、非结构化稀疏计算和片上自学习训练内核。

从让模型装得下，到让推理算得巧，再到探索如何更高效地更新能力，三项创新成果回答的是同一个问题：算法上的进步，怎样真正变成芯片上的效率。

从高效端侧推理，到下一阶段的端侧持续学习，星核芯片正在推动物理AI从“能够在端侧运行”走向“能够在端侧成长”。