地平线发布原生视频几何基础模型LoFT,实现RGB视频端到端三维场景重建
地平线 LoFT 原生视频几何基础模型:RGB 视频端到端三维场景重建解析
先说结论:11 月 18 日,地平线机器人实验室正式发布原生视频几何基础模型 LoFT(Looped Foundation Transformer for Video Geometry),它只需要普通摄像头拍的 RGB 视频流,就能端到端联合预测相机位姿、相机内参和逐帧深度,把场景的三维结构恢复出来;在 SpatialBench、ClassicBench、VRBench 三套评测体系中,多项深度估计指标达到业界最优(SoTA),尤其动态物体深度估计维度提升明显。这套模型直接面向连续视频建模,不再走 "逐帧估计再后处理拼接" 的老路,定位是给机器人空间感知、环境理解和具身学习提供几何基础,后续可落地到自动驾驶、服务机器人、AR、消费级无人机和智能监控等场景。
一、模型基础信息一览
| 项目 | 具体内容 |
|---|---|
| 模型名称 | LoFT(Looped Foundation Transformer for Video Geometry) |
| 发布主体 | 地平线机器人实验室(地平线机器人,HK:09660) |
| 发布时间 | 2026 年 11 月 18 日 |
| 模型定位 | 原生视频几何基础模型,面向连续视频建模的三维感知基座 |
| 输入 | 普通 RGB 视频流(不依赖激光雷达、IMU 等专用硬件) |
| 输出 | 相机位姿(六自由度)、相机内参、逐帧深度及置信度、场景三维结构与相机运动轨迹 |
| 核心架构 | 双循环 Transformer:LB1 通用几何特征提取,LB2 Coarse2Fine 几何与姿态估计 |
| 训练数据 | 约 297 万条有效训练序列、9.62 亿帧图像,覆盖仿真与真实、动态与静态场景 |
| 评测结果 | 三套权威评测中多项深度估计指标达到 SoTA;动态物体深度估计性能提升 41.7% |
| 适用场景 | 机器人第一人称视频、动态街道、室内操作、开放环境探索、自动驾驶感知、室内环境重建 |
二、LoFT 的双循环 Transformer 是怎么工作的
1. 设计思路:把视频当成时空连续体
传统做法大多把视频拆成一帧一帧单独处理深度,再通过后处理把结果拼起来,跨帧一致性容易出问题。LoFT 从底层架构上直接对连续视频建模,把跨帧视觉信息聚合和相机状态迭代优化结合起来,挖掘视频里的时序关联和多视角几何信息,从架构层面保证连续场景下的几何一致性。
2. 第一循环(LB1):跨帧特征聚合
- 通过局部与全局时序注意力聚合跨帧信息,逐步扩大时间感受范围。
- 局部注意力盯住相邻帧(约 5 帧)的细微动作变化,全局注意力可以跨过上百帧捕捉长距离的几何一致性。
- 利用相邻帧的连续性和跨视角的几何关联,提取通用几何特征。
3. 第二循环(LB2):位姿与内参迭代优化
- 显式更新相机位姿与内参参数,输出六自由度相机位姿。
- 把当前算出的相机状态反馈回下一轮特征计算,形成 "边看边定位、边建模边优化" 的动态迭代,类似空间自校准。
- 结合双循环特征预测逐帧深度及其置信度,恢复场景可见的三维结构,整体走 Coarse2Fine(由粗到精)的估计路径。
三、训练数据与评测表现
1. 数据规模与场景覆盖
- 团队搭建了统一的三维重建数据处理与训练平台,累计约 297 万条高质量视频序列、9.62 亿帧图像记录。
- 数据既包含高保真仿真场景,也覆盖真实世界中的雨雾天、强逆光、运动模糊等困难样本。
- 场景跨度从室内机械臂毫米级抓取,到开放环境无人机峡谷穿越,尽量覆盖物理 AI 落地可能遇到的真实工况。
2. 评测体系对比
| 评测体系 | 覆盖范围 | LoFT 表现 |
|---|---|---|
| SpatialBench | 12 个数据集、98 个连续视频场景 | 通用 3D 空间重建多项指标达到 SoTA |
| ClassicBench | 7 个经典视频重建基准 | 经典重建任务达到 SoTA 效果 |
| VRBench | 机器人、自动驾驶及通用视频场景 | 连续视频重建达到 SoTA 效果 |
3. 关键提升点
- 对比对象包括 VGGT-Ω、DA3-Giant 等代表性模型。
- 在绝对深度误差、平方相对误差等核心指标上全面超越此前 SOTA 模型。
- 动态物体深度估计维度性能提升 41.7%,针对移动目标深度信息容易模糊的痛点做了优化,机器可以区分动态物体不同部位的空间层次,对服务机器人避障、自动驾驶影子模式训练有直接价值。
四、和传统方案的核心差异
- 输入原生面向视频:不是单帧模型套视频,而是从架构上为连续视频设计,保留时序信息。
- 几何一致性更强:跨帧注意力加相机状态反馈迭代,减少逐帧拼接带来的漂移和不一致。
- 硬件门槛低:仅靠普通 RGB 摄像头视频流即可完成重建,不需要激光雷达、IMU,便于向边缘设备下沉部署。
- 定位与重建联合输出:位姿、内参、深度同步预测,输出可直接用于空间感知和环境理解。
五、落地应用方向
- 机器人与具身智能:服务机器人第一人称视角下的避障、导航、环境建模和操作空间理解。
- 自动驾驶:BEV 感知、动态障碍物三维重建、影子模式数据训练,提升复杂路况下的空间感知精度。
- 室内与开放场景重建:室内操作场景、探索环境的三维结构恢复。
- 边缘与消费级设备:AR 设备、消费级无人机、智能监控等低硬件成本场景的空间感知接入。
【相关 FAQ】
问题 1:地平线 LoFT 是什么模型?主要解决什么问题?
回答 1:LoFT 是地平线机器人实验室 2026 年 11 月 18 日发布的原生视频几何基础模型,全称 Looped Foundation Transformer for Video Geometry。它解决的核心问题是机器仅凭视觉视频流建立可信空间认知:从普通 RGB 视频中联合预测相机位姿、内参和逐帧深度,恢复场景三维结构,为机器人空间感知、环境理解与具身学习提供几何基础。
问题 2:LoFT 做三维场景重建需要激光雷达或 IMU 吗?
回答 2:不需要。LoFT 仅依靠普通 RGB 摄像头输出的视频流就能完成端到端三维场景重建,不依赖激光雷达、IMU 等专用硬件,这也让这套几何感知能力更容易轻量部署到边缘设备和成本敏感的下游场景。
问题 3:LoFT 的双循环 Transformer 架构分别负责什么?
回答 3:第一循环 LB1 通过局部与全局时序注意力聚合跨帧信息,提取通用几何特征;第二循环 LB2 显式更新相机位姿与内参,并把相机状态反馈到下一轮特征计算,走 Coarse2Fine 路径完成几何与姿态估计,最终结合双循环特征预测逐帧深度及置信度。
问题 4:LoFT 在评测中表现如何,对比了哪些模型?
回答 4:LoFT 在 SpatialBench、ClassicBench、VRBench 三套评测体系中与 VGGT-Ω、DA3-Giant 等代表性模型对比,多项深度估计指标达到 SoTA;在绝对深度误差、平方相对误差等核心指标上全面超越此前 SOTA 模型,动态物体深度估计性能提升 41.7%。
问题 5:LoFT 模型可以用在哪些具身智能和自动驾驶场景?
回答 5:LoFT 可覆盖机器人第一人称视频、动态街道、室内操作及开放环境探索等场景;在自动驾驶侧可用于 BEV 感知、动态障碍物三维重建和影子模式训练,在机器人侧可支撑避障、导航和环境建模,后续也可向 AR、消费级无人机、智能监控等场景开放模型能力。
【参考资料】
- [2026-11-19](地平线机器人实验室发布原生视频几何基础模型 LoFT,可从 RGB 视频还原三维结构)微博
- [2026-11-19](全球首个连续视频三维感知基座,地平线 LoFT 重构物理 AI 空间认知)搜狐网
- [2026-11-19](地平线发布原生视频几何模型 LoFT:双循环 Transformer,297 万序列训练)DoNews
- [2026-11-19](地平线发布 LoFT 原生视频几何基础模型,多项指标达到 SoTA)IT 之家 / 今日头条
- [2026-11-19](地平线发布 LoFT 原生视频几何基础模型)界面新闻
- [2026-11-19](地平线发布 LoFT 原生视频几何基础模型)新浪财经
【免责声明】
本文内容整理自厂商公开发布信息及公开媒体报道,模型架构、训练数据规模、评测指标与性能提升幅度均以地平线官方公布为准;不同评测数据集、场景和硬件条件下的实际表现可能存在差异,SoTA 结论仅对应所披露的评测范围。文中涉及的落地场景和商业化方向为公开资料梳理,不构成投资建议、技术选型承诺或采购依据;如需对接模型能力、获取最新论文与部署方案,请以地平线机器人官方渠道发布为准。
相关阅读
- 谷歌发布Gemini 4 Neon专攻编程与科研的高效AI模型,支持百万级上下文与多智能体协同
- WorkBuddy × 腾讯问卷 MCP 实战指南,一句话快速生成可投放问卷
- Anthropic IPO 定价 83 美元 估值 1.52 万亿美元刷新 AI 公司上市纪录
- Anthropic IPO 认购火爆,发行价上调至 83 美元,成为 AI 行业关键考验
- Digital Foundry 评测 GTA6 主机性能PS5 Pro/Xbox Series X 稳 30 帧,Series S 画质缩水帧率不稳
- 地平线发布原生视频几何基础模型LoFT,实现RGB视频端到端三维场景重建
- 谷歌给开发者下达适配要求,安卓折叠屏生态迎来革命性升级
- 60 岁美国男子一年影院看完 1207 部电影 刷新吉尼斯观影纪录
-
谷歌 Gemini 4 Neon 发布:百万级上下文,专攻编程与科研的高效多智能体模型 先说结论:谷歌在 2026 年...浏览全文>>
-
WorkBuddy 搭配腾讯问卷 MCP 能力,用户只用一句自然语言描述需求,AI 就能够自动生成完整问卷、配置题目...浏览全文>>
-
Anthropic 在当地时间 11 月 18 日敲定 IPO 发行价,每股定价 83 美元,高于前期 70-78 美元的指导...浏览全文>>
-
Anthropic 本次 IPO 市场认购需求远超预期,原本给出的发行区间是 70-78 美元,因为订单火爆,最终发行价...浏览全文>>
-
Digital Foundry(数毛社)这份《GTA6》主机实测结论很明确,四款主机目标帧率都是 30 帧,PS5 Pro 和 Xbox Series X 整体更容易 浏览全文>>
-
地平线 LoFT 原生视频几何基础模型:RGB 视频端到端三维场景重建解析 先说结论:11 月 18 日,地平线机...浏览全文>>
-
半夜属于身体进入修复休整的时段,这个阶段身体交感神经会逐步降低兴奋度,副交感神经主导,目的是让内脏大脑...浏览全文>>
-
冬天开空调核心就是把空调切换到制热模式,合理设定温度,配合风速风向调节,同时做好外机化霜和日常维护,很...浏览全文>>
-
半坡遗址位于现在的陕西省西安市东郊半坡村,属于黄河流域新石器时代仰韶文化的重要聚落遗址,距今大约六千年...浏览全文>>
-
按揭房是什么意思,就是购房者向银行申请住房贷款,把这套房产抵押给银行,自己先付一部分首付,剩下房款分期...浏览全文>>
- Anthropic IPO 认购火爆,发行价上调至 83 美元,成为 AI 行业关键考验
- Digital Foundry 评测 GTA6 主机性能PS5 Pro/Xbox Series X 稳 30 帧,Series S 画质缩水帧率不稳
- Arm Cortex-M42 芯片详解星辰 100e 语音识别性能提升 340 倍
- 马斯克公开为黄仁勋发声,否认老黄背叛美国还自嘲当初很傻
- 张朝阳回应搜狐躺平争议,坦言没有资源做大模型,坚持凌晨 4 点起床工作
- JEDEC 首次公开 DDR6 内存标准,峰值速率最高可达 17600 MT/s
- 空调怎么开的 遥控操作完整教程
- 企业知识管理做不大,不要再单纯采购新系统
- 班里开元旦晚会 节目表演方案
- Syncly Librarian 接入 Claude、ChatGPT 与 Codex,提供短视频检索能力
- 谷歌发布Gemini 4 Neon专攻编程与科研的高效AI模型,支持百万级上下文与多智能体协同
- WorkBuddy × 腾讯问卷 MCP 实战指南,一句话快速生成可投放问卷
- 半坡遗址在哪里 历史考点详解
- 60 岁美国男子一年影院看完 1207 部电影 刷新吉尼斯观影纪录
- 半角字符怎么输入 操作方法详解
- 空调外机怎么拆 分体空调外机拆机移机操作指南
- 办理工行金卡需要什么条件 申请资格详解
- 梁建章解读 AI 替代人力后的趋势更多人会选择旅游
- 板栗去皮的方法 多种实操技巧
- 宝马 650i 14 款与 15 款区别中期改款外观内饰与 4.4T 动力变化对照
- Anthropic 史上最大 IPO 详情(发行价每股近 600 元)
- 搬家时冰箱怎么搬 搬运注意事项详解
- 斑驳 词语释义与用法详解
- 班固的资料简介 史学人物深度解析
- 星舰筷子捕获二级飞船实现突破国内火箭二级回收进展
- GPT-6.2 跑分亮眼但实测翻车,暴露 OpenAI 模型短板解读
- 招商银行礼拜六礼拜天上班吗 网点轮班营业说明
- GTA6 性能实测标准版 PS5 帧率不稳,PS5 Pro 游玩体验更佳
- 百威金尊瓶盖二维码这么扫 扫码操作详细教程
- 百米加减档技巧口诀 驾考实操详解
