首页 >> 综合 > 快讯 >

Chris Potts依靠 logits 和文本样本就能反推模型训练数据顺序

2026-11-16 06:10:51 来源:网易 编辑:奚乐坚 

Chris Potts 的研究结论很明确,不需要拿到完整模型权重,只靠 logits(对数概率)或者大量模型输出文本样本,就可以统计学层面推断出原始预训练数据的先后顺序,这套机制被称作 “重写式记忆(palimpsestic memorization)”。大语言模型会像羊皮重写稿一样,把训练数据的先后顺序留下微弱痕迹,后期喂进去的数据留下的信号更强、更容易被捕捉,早期样本痕迹更淡;哪怕模型后续经过微调、模型融合改造,这个顺序信号依然有可能保留,甚至只拿模型生成的文本、不去直接访问模型,也能完成估算,这项技术主要用来溯源模型归属、判断模型是不是衍生自另一个训练跑次,还能识别模型被盗用或者篡改的情况。

为什么可以通过 logits 反推训练顺序

  • 模型对训练样本分配的对数概率,和该样本在训练流里出现的位置存在显著相关性,越靠后训练的数据,模型给出的对数概率通常越高;
  • 就算没有精确 logits,用大量模型生成文本去估算对应似然,也能捕捉这条相关性,不用获取全部训练集;
  • 在 Pythia、OLMo 等 1B~12B 参数模型的实验中,多数场景下统计显著性极强,p 值最低可达 1e-8 级别,很难用随机巧合解释这个关联。

整套检测操作步骤

  1. 拿到待检测的目标文本或者模型输出,获取每一条候选样本对应的对数概率 logits;
  2. 将这些样本和疑似原始训练批次做对齐,计算样本对数概率与原始训练位置的秩相关系数;
  3. 设置对照,用打乱顺序的训练数据重新训练对照模型,区分自然波动和真实顺序信号;
  4. 如果相关性显著,就可以作为证据,说明目标模型 / 文本和该原始训练跑次存在关联;
  5. 如果无法直接查询模型 logits,就采用观测方案,只用模型输出文本做似然估计,完成独立性检验。

它带来的最终影响

这个发现打破了一个常见假设:只要打乱训练数据,外界就没法还原训练时序。它证明训练顺序会被烙印在模型内部,给模型溯源提供了低成本黑盒检测手段,同时也带来隐私风险,攻击者有可能顺着这个思路挖掘训练集的时序信息。

【相关 FAQ】

问题 1:只用 logits 推断训练数据顺序,是不是一定能精准还原每一条样本的位置?

回答 1:不能做到精准定位单条样本,它给出的是统计学层面的相关性证据,可以证明存在顺序信号,而不是拿到一条精确、完整的训练索引表。

问题 2:微调之后,还能依靠 logits 检出训练数据顺序吗?

回答 2:按照 Chris Potts 介绍的实验,即便模型经过微调、模型融合等改动,训练顺序留下的记忆信号依然有机会被检测出来,只是信号强度可能下降。

问题 3:推断训练数据顺序,是不是必须直接访问模型拿到 logits?

回答 3:不是,这套方法还有观测模式,只依靠模型输出的大量文本样本估算似然,不需要直接调用模型读取 logits。

【参考资料】

[2026-01-18](The archai of palimpsestic memorization)斯坦福大学 Christopher Potts 个人博客

[2025-10-23](Detect Model Provenance via Training Order in AI)ShortSpan.ai

[2025-09-19](Blackbox Model Provenance via Palimpsestic Membership Inference)OpenReview

【免责声明】

本文内容仅为对该学术研究成果的客观转述,不构成安全攻防指导;该检测方法存在实验条件限制,在不同模型、不同训练配置下检出效果会发生变化,相关结论不能直接当作法律判定的唯一依据。

 
最新文章