Schmidhuber 提出 1991 年论文包含现代大模型三项核心技术

Jürgen Schmidhuber 在公开研究资料中明确提出，他在 1991 年发布的神经网络论文里，完整提出了当下大语言模型不可或缺的三项关键技术，这三项技术在后续几十年里逐步落地，成为 ChatGPT 等主流大模型的底层基础。当年硬件算力仅有如今的百万分之一，很多深度学习思路无法大规模验证，只停留在理论与小规模实验阶段；等到算力、数据条件成熟之后，这三项早期技术才被重新挖掘，成为大模型架构与训练流程里的标准配置。首先梳理三项技术的原始出处，再拆解每项技术的原始设计思路，接着对比当下大模型里的落地实现，最后梳理技术从理论到工程化的完整演进路线，完整还原这次早期技术创新的价值。

一、三项核心技术清单（原文确认版本）

1. 自监督预训练技术 原始方案采用分层循环网络做无监督预测编码，先用无标注文本数据完成模型初始化，再用少量标注数据做微调训练，对应 ChatGPT 里字母 P 所代表的预训练环节，解决深层网络难以收敛的梯度问题SUPSI。
2. 神经网络模型蒸馏技术 提出师生模型压缩方案，把多层级大网络学到的知识，迁移到轻量化小网络中，用来降低推理算力开销，现在是大模型轻量化部署的主流手段，广泛应用在端侧 AI 模型优化中SUPSI。
3. 序列位置编码技术 在循环序列模型中加入时序位置信息，让神经网络识别文字先后顺序，补齐早期模型无法区分语序的短板，该设计后续被 Transformer 架构直接继承，成为文本建模的基础组件SUPSI。

二、每项技术的原始设计与现代落地对照

（一）自监督预训练

1. 原始设计步骤 第一步搭建多层堆叠循环神经网络，构建分层时序压缩结构；第二步执行无监督预测任务，让网络自主预测下一段文本内容，完成底层特征提取；第三步用预训练得到的权重初始化深层网络，再开展有监督任务训练，大幅减少对标注数据的依赖SUPSI。
2. 现代落地成果 当前大模型普遍采用两阶段训练，第一阶段海量无标注文本自监督预训练，第二阶段指令微调，整套训练流程完全沿用这套 1991 年提出的训练范式。

（二）神经网络蒸馏

1. 原始设计步骤 第一步训练一个大容量多层级教师网络，充分学习文本序列特征；第二步把教师网络的输出软标签作为训练目标，去训练参数量更小的学生网络；第三步把大模型的能力无损迁移到小模型，兼顾精度与推理速度SUPSI。
2. 现代落地成果 模型蒸馏已经成为行业标配，DeepSeek、各类开源小参数大模型，全部依靠师生蒸馏完成轻量化迭代，大幅降低大模型线上部署成本。

（三）序列位置编码

1. 原始设计步骤 针对纯循环网络无法感知字符先后顺序的缺陷，在输入层增加时序位置标识，把文字的先后位置信息嵌入向量，保证模型读懂语序差异带来的语义变化SUPSI。
2. 现代落地成果 后续 Transformer 模型的正弦位置编码、可学习位置编码，核心思路都来自这项早期设计，是自然语言处理模型处理长文本序列的必备模块。

三、技术诞生的时代背景补充

1991 年深度学习还处于萌芽阶段，深层神经网络普遍面临梯度消失问题，无法搭建数十层以上的网络。Schmidhuber 的这篇论文同时给出训练方法、模型压缩、序列建模三套配套方案，从训练初始化、模型瘦身、文本时序建模三个维度，打通深层序列网络的落地难点。只是受限于当年算力不足，只能完成上千层网络的小规模验证，直到 2017 年 Transformer 问世之后，这三项尘封多年的技术才重新进入主流研究视野，支撑起大模型产业快速发展arXiv。

【相关 FAQ】

问题 1：Schmidhuber1991 年论文提出的现代大模型三项核心技术具体是哪三项？

回答 1：这三项关键技术分别是自监督预训练技术、神经网络模型蒸馏技术、序列位置编码技术，这三项内容都被写入 1991 年神经网络序列压缩论文，现在全部应用在主流大语言模型训练与架构设计当中SUPSI。

问题 2：Schmidhuber1991 年提出的预训练技术，和现在大模型预训练流程是一脉相承的吗？

回答 2：二者核心逻辑完全一脉相承，1991 年采用无监督时序预测完成权重初始化，当下大模型采用海量文本自监督预训练，整体 “预训练 + 微调” 两阶段训练框架，完全继承了当年的技术思路，只是把循环网络升级为 Transformer 架构智源社区。

问题 3：为什么 Schmidhuber1991 年提出的三项技术，时隔二十多年才被大规模用在大模型中？

回答 3：核心限制来自算力与数据，1991 年计算机算力只有当前的百万分之一，无法完成海量文本训练；直到 GPU 算力快速提升、互联网文本数据集大量积累，再加上 Transformer 架构诞生，才让这三项早期技术具备大规模工程落地的条件SUPSI。

【数据来源】

[2026-02-23]（Deep Learning: Our Miraculous Year 1990-1991）arXiv

[2024-07-12]（生成式 AI 之父 Jürgen Schmidhuber：机器学习编年史与宇宙未来）智源社区

[2021-03-26]（Neural nets learn to program neural nets with fast weights）SUPSI 实验室官网

[2025-08-10]（Very Deep Learning Since 1991）SUPSI 实验室官网

免责声明：本文仅对公开学术文献内容进行技术梳理与客观解读，所有技术结论均来自公开论文与研究博文，不涉及任何商业宣传与投资导向；学术技术发展存在多源创新路径，不同研究者在同一时期可能独立提出同类技术思路，本文仅还原该学者公开表述中的技术内容。