斯坦福 CS31 测验解析，Transformer 残差连接与层归一化消融实验解读

斯坦福 CS31 这套测验核心就是靠消融实验对比，验证 Transformer 里残差连接、层归一化各自的作用，以及两者搭配之后的训练效果，消融就是逐个拿掉组件，看 loss、梯度、收敛速度、最终性能怎么变，测验里最关键结论是：只留残差会出现激活值漂移、训练不稳定；只留层归一化，深层网络梯度容易消失；两者同时保留，才能让深层 Transformer 稳定收敛、梯度正常回传，这也是现在大模型都用 Pre-LN 结构的底层原因。很多人容易混淆 Post-LN 和 Pre-LN，原始 Transformer 论文是 Post-LN，归一化放在残差相加之后；现在 GPT、LLaMA 这类主流模型用 Pre-LN，归一化放在子层输入之前，残差支路保持原始数据流，梯度通路更干净，测验里也会对比两种结构的消融差异。做消融对照的时候，要固定层数、学习率、初始化、数据集，只改动残差、LN 开关，不然变量太多，没法判断性能变化到底是谁带来的。如果你要完成这套测验，优先记住消融四组对照基线，再分清梯度通路、激活分布两个维度，不要把残差的梯度作用和归一化的数值稳定作用混在一起。

消融四组对照基线清单（测验核心）

• 基线 A：无残差、无 LN：深层梯度消失，loss 直接发散，几乎无法训练
• 基线 B：只有残差、无 LN：梯度通路打通，但每一层激活均值方差持续漂移，层数深之后数值爆炸，训练震荡
• 基线 C：只有 LN、无残差：激活分布被稳住，但是梯度没有直连通道，多层叠加后梯度衰减，收敛很慢、上限低
• 基线 D：残差 + LN（Pre-LN/Post-LN）：梯度高速通路 + 激活分布稳定，收敛稳定，loss 最低，性能最优

Pre-LN 与 Post-LN 公式 & 差异表格

残差连接核心作用清单

• 搭建梯度高速通路：反向传播时，梯度可以直接跳过注意力、MLP 子层，避免连乘衰减
• 让子层只学习残差增量：子层只需要学输入和目标之间的差值，而不是从头映射整个特征
• 提供身份映射兜底：子层输出趋近 0 时，模块等价于直接传递输入，不会比不加这个层更差

层归一化 LN 核心作用清单

• 对每个 token 的特征维度做归一化，把均值拉到 0、方差接近 1，和 batch 无关，适配变长序列
• 抑制逐层激活漂移，防止数值越变越大，避免训练过程数值溢出
• 平滑损失曲面，降低对学习率、初始化的敏感程度，加快收敛
• 带可学习参数 γ、β，保留表达能力，不是单纯固定缩放

测验答题步骤（应试思路）

1. 先明确消融定义：控制变量，每次只移除一个组件，其余超参全部固定
2. 区分两个独立问题：梯度消失问题交给残差；激活分布漂移交给 LN
3. 判断结构：先看 LN 放在残差相加前还是后，区分 Pre/Post-LN
4. 看实验现象：loss 发散→大概率缺 LN；收敛极慢、深层效果差→大概率缺残差
5. 写结论：两者分工不同，不能互相替代，现代模型优先 Pre-LN 方案

【相关 FAQ】

问题 1：斯坦福 CS31 这套 Transformer 残差与归一化消融测验，消融实验是什么意思？

回答 1：斯坦福 CS31 这套 Transformer 残差与归一化消融测验里，消融就是控制变量，逐个去掉残差连接或者层归一化，对比模型训练 loss、梯度、最终效果，单独判断每个组件的价值。

问题 2：斯坦福 CS31 这套 Transformer 残差与归一化消融测验，只保留残差去掉 LN 会出现什么问题？

回答 2：斯坦福 CS31 这套 Transformer 残差与归一化消融测验里，只保留残差去掉 LN，梯度通路能通，但是激活值逐层漂移，层数深之后数值容易爆炸，loss 震荡，训练不稳定。

问题 3：斯坦福 CS31 这套 Transformer 残差与归一化消融测验，Pre-LN 和 Post-LN 哪个是现在大模型主流？

回答 3：斯坦福 CS31 这套 Transformer 残差与归一化消融测验里，Pre-LN 是现在 GPT、LLaMA 等大模型主流方案，残差支路不经过归一化，梯度更稳定；Post-LN 是原始 Transformer 论文方案。

问题 4：斯坦福 CS31 这套 Transformer 残差与归一化消融测验，残差和层归一化能不能互相替代？

回答 4：斯坦福 CS31 这套 Transformer 残差与归一化消融测验结论是残差和层归一化不能互相替代，残差解决梯度流通，LN 解决激活分布稳定，缺任意一个深层训练都会出问题。

【参考资料】

[2026-09-15]（Transformer Block Quiz 残差与归一化消融题目解析）LMVersity

[2026-09-01]（On Layer Normalization in the Transformer Architecture 复现消融）AI Computer Institute

[2026-02-23]（Transformer 残差、Pre-LN 消融对照实验）掘金

[2020-02-17]（On Layer Normalization in the Transformer Architecture）arXiv

【免责声明】

以上内容基于斯坦福 CS31 课程配套测验、Transformer 经典论文复现资料整理，不同版本测验的实验设置、层数、超参有区别，答题时以试卷给定实验曲线和 loss 数据优先；内容仅用于课程知识点理解，不代表官方标准答案。