NVIDIA Déjà View 发布，支持多角度照片一键输出 3D 几何与相机位姿

英伟达推出全新多视图重建模型 Déjà View，只用一组普通多角度拍摄照片，就能同时还原场景稠密 3D 几何结构以及每一张照片对应的相机位姿，它采用循环 Transformer 架构，只用 1.17 亿参数，性能却超过很多参数量大得多的前馈模型，算力开销也更低，这项成果入选 NeurIPS 2026 Oral。传统多视图重建工具大多流程繁琐，要分开跑特征匹配、运动恢复、深度估计，而 Déjà View 做成端到端方案，把同一个 Transformer 模块反复迭代优化，用户还能自由调节迭代步数，在速度和重建精度之间灵活取舍，室内场景、户外环境、物体特写、自动驾驶场景都可以适配，不需要额外标定设备，手机随手拍出的多角度照片就可以作为输入素材。

一、Déjà View 核心技术特点

• 循环共享 Transformer：不是堆叠大量独立层，而是重复调用同一个 Transformer 模块迭代优化视图特征，迭代步数 K 可以在推理阶段手动调整，步数越高几何、相机位姿越精准，同时耗时更长。
• 轻量化参数规模：总参数仅 117M，对比主流同类前馈模型，参数量减少 8 到 10 倍，计算量下降约 1.9–2.3 倍，降低对高端显卡的硬性门槛。
• 端到端双输出：输入多张不同视角 RGB 图像，一次性输出稠密深度图、射线图，再从中解算出三维几何、相机旋转、平移以及相机内参，不用拆分多条管线。
• 多场景通用：在五组基准测试上验证有效，覆盖室内、室外、单独物体、自动驾驶道路场景，适配多样化重建需求。

二、和传统 SfM / COLMAP 的区别

三、目前的局限与落地方向

Déjà View 当前属于研究成果，英伟达放出项目页面与论文，还没有面向普通用户的一键桌面软件；它对输入照片的视角变化、光照稳定性依然有要求，如果照片之间重叠太少或者反光、模糊严重，相机位姿和几何重建误差会明显变大。未来比较适合的方向包括机器人感知、数字资产扫描、NeRF / 高斯泼溅重建前置、AR 空间定位，为后续渲染和仿真提供可靠的场景与相机参数。

【相关 FAQ】

问题 1：NVIDIA Déjà View 是什么，怎么实现多角度照片转 3D 几何与相机位姿？

回答 1：NVIDIA Déjà View 是英伟达的多视图三维重建模型，依靠循环 Transformer，输入多角度照片，联合迭代求解深度、射线信息，直接得到场景稠密 3D 几何以及每张图片对应的相机位姿，属于端到端方案。

问题 2：NVIDIA Déjà View 在多角度照片转 3D 几何与相机位姿这件事上，算力优势体现在哪里？

回答 2：NVIDIA Déjà View 只有 117M 参数，相比主流前馈重建模型，参数量减少 8–10 倍，计算量降低约 1.9–2.3 倍，还支持动态调节迭代步数，灵活平衡多角度照片转 3D 几何与相机位姿的速度和精度。

问题 3：使用 NVIDIA Déjà View 做多角度照片转 3D 几何与相机位姿，必须用专业相机吗？

回答 3：不需要，手机拍摄的多角度照片就可以作为输入，但想要得到靠谱的 3D 几何与相机位姿，照片之间要有足够画面重叠，光照不能剧烈变化。

问题 4：NVIDIA Déjà View 这套多角度照片转 3D 几何与相机位姿的工具，现在有正式商用软件吗？

回答 4：目前 NVIDIA Déjà View 以学术论文和研究项目形式对外发布，入选 NeurIPS 2026 Oral，暂时没有面向普通消费者的成品软件，开发者可以参考论文复现多角度照片转 3D 几何与相机位姿的流程。

【参考资料】

[2026-05-28]（Déjà View: Looping Transformers for Multi-View 3D Reconstruction）Jiahui Huang 个人学术主页

[2026-05-28]（Déjà View: Looping Transformers for Multi-View 3D Reconstruction）arXiv

[2026-05-28]（Déjà View 项目主页）NVIDIA Research

【免责声明】

以上内容仅为前沿技术资讯梳理，不构成采购、开发、商用落地建议。NVIDIA Déjà View 当前为实验室研究成果，未正式推出稳定商用版本；多角度照片转 3D 几何与相机位姿的效果受图片质量、硬件、迭代参数影响较大，重建结果存在误差风险，请开发者自行评估测试。