首页 >> 综合 > 快讯 >

地平线发布原生视频几何基础模型LoFT,实现RGB视频端到端三维场景重建

2026-11-19 09:42:06 来源:网易 编辑:冉锦毅 

地平线 LoFT 原生视频几何基础模型:RGB 视频端到端三维场景重建解析

先说结论:11 月 18 日,地平线机器人实验室正式发布原生视频几何基础模型 LoFT(Looped Foundation Transformer for Video Geometry),它只需要普通摄像头拍的 RGB 视频流,就能端到端联合预测相机位姿、相机内参和逐帧深度,把场景的三维结构恢复出来;在 SpatialBench、ClassicBench、VRBench 三套评测体系中,多项深度估计指标达到业界最优(SoTA),尤其动态物体深度估计维度提升明显。这套模型直接面向连续视频建模,不再走 "逐帧估计再后处理拼接" 的老路,定位是给机器人空间感知、环境理解和具身学习提供几何基础,后续可落地到自动驾驶、服务机器人、AR、消费级无人机和智能监控等场景。

一、模型基础信息一览

项目具体内容
模型名称LoFT(Looped Foundation Transformer for Video Geometry)
发布主体地平线机器人实验室(地平线机器人,HK:09660)
发布时间2026 年 11 月 18 日
模型定位原生视频几何基础模型,面向连续视频建模的三维感知基座
输入普通 RGB 视频流(不依赖激光雷达、IMU 等专用硬件)
输出相机位姿(六自由度)、相机内参、逐帧深度及置信度、场景三维结构与相机运动轨迹
核心架构双循环 Transformer:LB1 通用几何特征提取,LB2 Coarse2Fine 几何与姿态估计
训练数据约 297 万条有效训练序列、9.62 亿帧图像,覆盖仿真与真实、动态与静态场景
评测结果三套权威评测中多项深度估计指标达到 SoTA;动态物体深度估计性能提升 41.7%
适用场景机器人第一人称视频、动态街道、室内操作、开放环境探索、自动驾驶感知、室内环境重建

二、LoFT 的双循环 Transformer 是怎么工作的

1. 设计思路:把视频当成时空连续体

传统做法大多把视频拆成一帧一帧单独处理深度,再通过后处理把结果拼起来,跨帧一致性容易出问题。LoFT 从底层架构上直接对连续视频建模,把跨帧视觉信息聚合和相机状态迭代优化结合起来,挖掘视频里的时序关联和多视角几何信息,从架构层面保证连续场景下的几何一致性。

2. 第一循环(LB1):跨帧特征聚合

  • 通过局部与全局时序注意力聚合跨帧信息,逐步扩大时间感受范围。
  • 局部注意力盯住相邻帧(约 5 帧)的细微动作变化,全局注意力可以跨过上百帧捕捉长距离的几何一致性。
  • 利用相邻帧的连续性和跨视角的几何关联,提取通用几何特征。

3. 第二循环(LB2):位姿与内参迭代优化

  • 显式更新相机位姿与内参参数,输出六自由度相机位姿。
  • 把当前算出的相机状态反馈回下一轮特征计算,形成 "边看边定位、边建模边优化" 的动态迭代,类似空间自校准。
  • 结合双循环特征预测逐帧深度及其置信度,恢复场景可见的三维结构,整体走 Coarse2Fine(由粗到精)的估计路径。

三、训练数据与评测表现

1. 数据规模与场景覆盖

  • 团队搭建了统一的三维重建数据处理与训练平台,累计约 297 万条高质量视频序列、9.62 亿帧图像记录。
  • 数据既包含高保真仿真场景,也覆盖真实世界中的雨雾天、强逆光、运动模糊等困难样本。
  • 场景跨度从室内机械臂毫米级抓取,到开放环境无人机峡谷穿越,尽量覆盖物理 AI 落地可能遇到的真实工况。

2. 评测体系对比

评测体系覆盖范围LoFT 表现
SpatialBench12 个数据集、98 个连续视频场景通用 3D 空间重建多项指标达到 SoTA
ClassicBench7 个经典视频重建基准经典重建任务达到 SoTA 效果
VRBench机器人、自动驾驶及通用视频场景连续视频重建达到 SoTA 效果

3. 关键提升点

  • 对比对象包括 VGGT-Ω、DA3-Giant 等代表性模型。
  • 在绝对深度误差、平方相对误差等核心指标上全面超越此前 SOTA 模型。
  • 动态物体深度估计维度性能提升 41.7%,针对移动目标深度信息容易模糊的痛点做了优化,机器可以区分动态物体不同部位的空间层次,对服务机器人避障、自动驾驶影子模式训练有直接价值。

四、和传统方案的核心差异

  1. 输入原生面向视频:不是单帧模型套视频,而是从架构上为连续视频设计,保留时序信息。
  2. 几何一致性更强:跨帧注意力加相机状态反馈迭代,减少逐帧拼接带来的漂移和不一致。
  3. 硬件门槛低:仅靠普通 RGB 摄像头视频流即可完成重建,不需要激光雷达、IMU,便于向边缘设备下沉部署。
  4. 定位与重建联合输出:位姿、内参、深度同步预测,输出可直接用于空间感知和环境理解。

五、落地应用方向

  • 机器人与具身智能:服务机器人第一人称视角下的避障、导航、环境建模和操作空间理解。
  • 自动驾驶:BEV 感知、动态障碍物三维重建、影子模式数据训练,提升复杂路况下的空间感知精度。
  • 室内与开放场景重建:室内操作场景、探索环境的三维结构恢复。
  • 边缘与消费级设备:AR 设备、消费级无人机、智能监控等低硬件成本场景的空间感知接入。

【相关 FAQ】

问题 1:地平线 LoFT 是什么模型?主要解决什么问题?

回答 1:LoFT 是地平线机器人实验室 2026 年 11 月 18 日发布的原生视频几何基础模型,全称 Looped Foundation Transformer for Video Geometry。它解决的核心问题是机器仅凭视觉视频流建立可信空间认知:从普通 RGB 视频中联合预测相机位姿、内参和逐帧深度,恢复场景三维结构,为机器人空间感知、环境理解与具身学习提供几何基础。

问题 2:LoFT 做三维场景重建需要激光雷达或 IMU 吗?

回答 2:不需要。LoFT 仅依靠普通 RGB 摄像头输出的视频流就能完成端到端三维场景重建,不依赖激光雷达、IMU 等专用硬件,这也让这套几何感知能力更容易轻量部署到边缘设备和成本敏感的下游场景。

问题 3:LoFT 的双循环 Transformer 架构分别负责什么?

回答 3:第一循环 LB1 通过局部与全局时序注意力聚合跨帧信息,提取通用几何特征;第二循环 LB2 显式更新相机位姿与内参,并把相机状态反馈到下一轮特征计算,走 Coarse2Fine 路径完成几何与姿态估计,最终结合双循环特征预测逐帧深度及置信度。

问题 4:LoFT 在评测中表现如何,对比了哪些模型?

回答 4:LoFT 在 SpatialBench、ClassicBench、VRBench 三套评测体系中与 VGGT-Ω、DA3-Giant 等代表性模型对比,多项深度估计指标达到 SoTA;在绝对深度误差、平方相对误差等核心指标上全面超越此前 SOTA 模型,动态物体深度估计性能提升 41.7%。

问题 5:LoFT 模型可以用在哪些具身智能和自动驾驶场景?

回答 5:LoFT 可覆盖机器人第一人称视频、动态街道、室内操作及开放环境探索等场景;在自动驾驶侧可用于 BEV 感知、动态障碍物三维重建和影子模式训练,在机器人侧可支撑避障、导航和环境建模,后续也可向 AR、消费级无人机、智能监控等场景开放模型能力。

【参考资料】

  • [2026-11-19](地平线机器人实验室发布原生视频几何基础模型 LoFT,可从 RGB 视频还原三维结构)微博
  • [2026-11-19](全球首个连续视频三维感知基座,地平线 LoFT 重构物理 AI 空间认知)搜狐网
  • [2026-11-19](地平线发布原生视频几何模型 LoFT:双循环 Transformer,297 万序列训练)DoNews
  • [2026-11-19](地平线发布 LoFT 原生视频几何基础模型,多项指标达到 SoTA)IT 之家 / 今日头条
  • [2026-11-19](地平线发布 LoFT 原生视频几何基础模型)界面新闻
  • [2026-11-19](地平线发布 LoFT 原生视频几何基础模型)新浪财经

【免责声明】

本文内容整理自厂商公开发布信息及公开媒体报道,模型架构、训练数据规模、评测指标与性能提升幅度均以地平线官方公布为准;不同评测数据集、场景和硬件条件下的实际表现可能存在差异,SoTA 结论仅对应所披露的评测范围。文中涉及的落地场景和商业化方向为公开资料梳理,不构成投资建议、技术选型承诺或采购依据;如需对接模型能力、获取最新论文与部署方案,请以地平线机器人官方渠道发布为准。

 
最新文章