斯坦福 AI 实验室推出 FoveaVLA 模型依靠学习注视动作替代机器人腕部相机

斯坦福 AI 实验室发布的 FoveaVLA 视觉语言动作模型，核心创新就是用模型自主学习得到的注视动作，完全替代传统机器人搭载的腕部相机，仅依靠固定外部摄像头就能获取高精度局部画面，在不增加硬件成本的前提下，大幅提升机器人在复杂环境下的操作成功率，不管是远距离抓取、杂物环境作业还是柔性布料操作，性能都优于配备腕部相机的传统机器人方案，彻底解决腕部相机视野受限、容易被遮挡、硬件维护成本高的行业痛点，为轻量化机器人开发提供了全新技术路线。

一、选用注视动作替代腕部相机的核心缘由

1. 传统腕部相机存在先天硬件短板。腕部相机紧贴机械臂末端，只能拍到抓手周边狭小区域，一旦目标物体距离较远、周围存在杂物遮挡，镜头就无法捕捉有效画面；同时腕部相机随机械臂高速运动，容易出现镜头抖动、线缆磨损，硬件故障率与整机成本居高不下。
2. 固定外部摄像头存在分辨率矛盾。外部全景摄像头可以覆盖整个作业场景，但受算力与带宽限制，全局画面只能采用低分辨率采样，机器人很难看清抓取点位、细小缝隙等精细视觉信息，无法完成高精度操作。
3. 人眼视觉机制提供了技术灵感。人类依靠中央凹注视目标，只把高分辨率视觉集中在交互区域，其余场景保持低分辨率观察。FoveaVLA 复刻这一机制，让模型主动预测交互区域，只对目标区域做高分辨率图像裁剪，不用依赖腕部相机也能获得局部高清画面。
4. 轻量化机器人落地需要精简硬件。当下商用协作机器人普遍追求简化机身结构，取消腕部相机可以减少布线、降低整机重量，让机器人结构更紧凑，更适合流水线、家庭服务等轻量化应用场景。

二、FoveaVLA 整体技术架构与实现步骤

（一）两种硬件配置方案清单

FoveaVLA 基于 π₀.5 基础模型开发，分为单摄与双摄两套配置，全部只使用外部固定 RGB-D 相机，不搭载任何腕部相机：

表格

（二）模型运行完整流程

1. 注视区域预测阶段。模型在生成每一段动作指令的同时，同步预测下一个交互目标的三维坐标，输出需要重点观察的画面区域，也就是注视区域。
2. 图像多分辨率采样阶段。系统保留相机原始分辨率全景图像，同时按照预测坐标，从原图里裁剪出注视区域的高清局部画面，形成 “全局低分辨率全景 + 局部高分辨率裁切图” 双路视觉输入。
3. 多模态信息融合阶段。视觉编码器同时处理全景画面与局部裁切画面，把全局场景信息和局部精细细节融合在一起，再结合语言指令输出机械臂动作。
4. 动作闭环迭代阶段。机器人执行动作后，相机持续采集新画面，模型重新预测下一注视点，不断更新局部高清画面，形成注视动作与机械操作的闭环联动。

（三）模型训练实施步骤

1. 数据集准备：基于 DROID 数据集搭配 RoboInter 交互标注数据，补充大量杂物遮挡、远距离抓取、布料折叠等复杂场景样本，标注每一步操作对应的注视目标区域。
2. 双任务联合训练：把动作策略网络与注视区域预测网络放在一起联合训练，让模型学会根据任务进度自动切换注视点位，保证注视动作和机械动作保持同步。
3. 仿真环境预训练：先在机器人仿真平台完成多轮迭代，优化注视点预测精度，减少无效画面裁切，降低算力浪费。
4. 真机微调落地：将预训练模型部署到实体协作机器人上，在真实作业场景里微调网络参数，优化动态环境下注视目标追踪稳定性。

三、FoveaVLA 技术落地综合结论

FoveaVLA 通过学习型注视动作，成功补齐了固定外部摄像头缺少局部高清细节的短板，彻底摆脱对腕部相机的硬件依赖。在简单拾取任务里，模型性能可以和带腕部相机的基线方案持平；在存在遮挡、远距离目标、柔性物体等高难度场景下，作业成功率实现大幅度提升。这套方案不用额外增加硬件，只依靠算法优化就能提升机器人操作精度，能够有效降低协作机器人的制造成本、减少后期设备维护工作量，未来会广泛应用于轻量化工业机器人、家用服务机器人等领域，持续推动机器人视觉系统向无腕部相机的轻量化方向迭代升级。

【相关 FAQ】

问题 1：FoveaVLA 依靠学习到的注视动作替代腕部相机，相比传统腕部相机方案有哪些性能提升？

回答 1：FoveaVLA 依靠学习到的注视动作替代腕部相机，在简单拾取任务中可以和带腕部相机的基线性能持平；在有遮挡物、远距离抓取、布料操控等复杂场景下，FoveaVLA-Single 版本成功率达到 70.8%，双摄版本达到 77.1%，明显优于 52.1% 的腕部相机基线方案，同时规避了腕部镜头易遮挡、易损坏的问题。

问题 2：FoveaVLA 实现注视动作的核心技术逻辑是什么？

回答 2：FoveaVLA 实现注视动作的核心技术逻辑是模仿人眼中央凹视觉机制，模型在输出机械动作的同时，自主预测下一步交互目标区域，从原始全景图像里裁切出目标区域高清画面，形成全景低分辨率图像 + 局部高分辨率裁切图的双重视觉输入，不需要腕部相机就能获取精细视觉细节。

问题 3：FoveaVLA 除了替代腕部相机之外，还能给机器人项目带来哪些硬件层面的优势？

回答 3：FoveaVLA 依靠学习到的注视动作替代腕部相机，能够直接省去机械臂末端的相机、数据线与固定支架，精简机器人机身结构，减轻机械臂自重，降低整机硬件采购成本，同时减少运动线缆磨损，大幅降低机器人长期运维的故障率与维护成本。

【参考资料】

[2026-10-14]（FoveaVLA: Foveation Actions Replace the Wrist Camera in VLAs）arXiv

[2026-10-14]（斯坦福 AI 实验室 FoveaVLA 模型解读：注视动作替代腕部相机）Semantic Scholar

[2026-10-20]（无腕部相机机器人视觉新方案：FoveaVLA 技术详解）机器之心

[2026-10-16]（基于主动注视的机器人操作视觉模型研究进展）AI 科技评论

免责声明

本文所有技术参数、实验数据、性能指标均来自斯坦福 AI 实验室公开论文与行业科技媒体公开资讯；FoveaVLA 模型的实际作业效果会受机器人硬件配置、场景光照、任务复杂度影响；模型后续迭代优化方案以斯坦福 AI 实验室官方发布内容为准，本文内容仅作为技术研究参考，不构成产品开发与采购依据。