LeCun 团队 109M JEPA 文本模型采用优质视图训练，达成同等跨模态对齐仅需 42 倍更少样本，优于传统下一词预测方案

Yann LeCun 团队最新 Platonic Representation Hypothesis 相关论文公布一组关键实验结果，同等 109M 参数量的文本 JEPA 模型，使用 Good-View 优质视图训练方案，在跨模态对齐指标上达到和下一词预测（Next-Token Prediction）相同水平时，所需要的训练样本只有后者的 1/42；这套 109M 小模型在 WIT-1024 基准上的图文对齐分数 0.184，甚至超过 Qwen2.5-72B、Llama3-70B 这类 70B 级别大模型，证明训练目标、表征学习方式，比单纯堆参数规模对跨模态对齐的影响更大。传统下一词预测的自回归训练，学习目标是文本序列的局部接续规律，模型容易学到表层语法、搭配，很难稳定提炼和视觉空间共享的底层世界表征；而优质视图（Good View）JEPA 的核心思路，是让模型学习同一个场景的两种不同视图（比如一张图和它的多条描述文本），约束不同视图的表征收敛到同一个底层世界结构，也就是柏拉图表征假说。在控制变量实验里，相同数据集环境下，Good-View JEPA 只用 2160 万样本，就拿到了下一词预测需要 9 亿样本才能达成的对齐效果，就算按 token 总量统计，样本效率也有约 14 倍提升。这项研究不是否定下一词预测的全部价值，而是指出下一词预测属于 “弱视图”，在图文对齐、感知世界建模任务上样本效率很低；优质视图范式给小模型、多模态模型提供了一条不依赖海量数据、不疯狂堆参数的路线，未来有机会降低多模态模型训练的数据成本。

实验核心数据对照表

两种训练范式原理对比

优质视图训练的执行步骤

1. 构建成对视图样本：对同一个场景，准备两组独立描述（图像 + 文本、两段不同文本描述等），构成一对 “good view”
2. 送入 JEPA 编码器，分别编码两组视图，得到两组表征向量
3. 使用损失函数约束两组表征对齐，保证二者捕捉同一个底层事实结构，同时防止表征坍缩
4. 在 WIT-1024 等图文对齐基准上验证跨模态匹配能力
5. 和同参数、同语料下的下一词预测基线做对照，统计达到相同对齐分数所消耗样本数量

研究带来的启示边界

• 该结论局限在跨模态图文对齐指标，不是说 109M JEPA 整体能力全面超过 72B 大模型，它在长文本生成、复杂推理、代码任务上依然弱于大 LLM
• “42 倍效率提升” 是控制变量实验结果，限定在相同编码器、相同语料池、相同对齐目标下
• 柏拉图表征假说还在验证阶段，尚未成为工业界主流训练范式，距离大规模落地还有工程优化工作

【相关 FAQ】

问题 1：109M 文本模型优质视图训练，对比下一词预测在样本上的差距是多少？

回答 1：109M 文本 JEPA 模型采用优质视图训练，达到同等跨模态对齐效果，仅需要下一词预测方案 42 分之一的训练样本，样本效率提升显著。

问题 2：109M 优质视图 JEPA 模型，为什么跨模态对齐效果超过 72B 级别的 LLM？

回答 2：109M 优质视图 JEPA 目标是学习场景共享底层表征，而传统下一词预测主要学习文本序列接续规律，在图文对齐任务上表征学习方向更适配，所以小模型也拿到更高对齐分数。

问题 3：优质视图训练和下一词预测的核心区别是什么？

回答 3：优质视图训练（Good-View JEPA）让模型对齐同一个场景的不同视图，学习世界底层结构；下一词预测是自回归任务，学习文本 token 先后接续的表层序列规律。

问题 4：这个 109M 模型 42 倍更少样本的结论，是不是代表它整体强于 72B 大模型？

回答 4：不是，109M 优质视图 JEPA 仅在图文对齐单项指标上超越 72B 大模型，它缺少下一词预测的生成能力，在文本续写、复杂推理等任务上远不如大 LLM。

问题 5：优质视图训练的 Good View 是什么含义？

回答 5：优质视图指同一个客观场景的两种独立观测描述，例如一张图片和它的一段文字说明，模型的目标是把这两个视图映射到同一个底层表征。

【参考资料】

[2026-11-04]（109 Million Beats 72 Billion: LeCun's Theorem Says Every Model Sees the Same World）DEV Community

[2026-11-03]（LeCun's New Paper Argues That Next-Token Prediction Is Inefficient）C114Pro

[2026-11-02]（Yann LeCun's tiny 109M model aligns with vision better than 72B LLMs）Startup Fortune

[2026-10-30]（Proving and Improving the Platonic Representation Hypothesis with JEPAs）HyperAI

【免责声明】

本文信息基于 LeCun 团队 Platonic Representation Hypothesis 相关论文及行业解读整理，42 倍样本效率、WIT-1024 对齐分数为论文实验条件下的对照结果，仅针对跨模态对齐指标，不代表全任务能力；该方案仍处于学术研究阶段，商业化落地效果、不同数据集下的表现会存在差异，本文不构成模型选型、训练方案改造的落地建议。