首页 >> 综合 > 快讯 >

Flora 机器人数据引擎正式发布,全套模型权重对外开源

2026-10-21 07:07:18 来源:网易 编辑:晏蕊阅 

全新的 Flora 机器人数据引擎正式对外发布,整套配套模型权重在开源平台开放下载,能够帮助研发人员一键打通机器人视频数据自动标注全流程,大幅降低机器人训练数据集的制作成本,解决机器人研发中长期存在的数据标注效率不足的痛点。这款数据引擎由三款视觉语言模型组合而成,完整覆盖图像文本描述、动作时序分割、奖励文本生成三大环节,全部预训练权重同步开源到 Hugging Face 平台,开发者可以直接下载权重完成本地部署,不用从零开始训练模型。整个方案之所以能够显著提升机器人数据生产效率,首先是它把人工标注的多道工序合并成自动化流水线,从原始视频输入到结构化标签输出全程无人干预;其次是三款模型深度适配机器人实操场景,专门针对机械臂抓取、物体搬运等动作做优化,输出的标签可以直接用于强化学习训练;最后是全套权重开放开源,科研团队与中小企业不用投入高额算力完成预训练,直接调用现成模型搭建自有数据引擎。落地部署可以按照模型调用、流水线串联、数据集输出三个步骤执行,先分别加载三款开源权重完成单模型推理,再把图像帧、视频片段依次接入模型形成串联链路,最终批量输出带文本标签的机器人训练数据,实现低成本规模化产出高质量机器人数据集。

一、Flora 机器人数据引擎整体架构

1.1 三大核心模型清单(全部开源权重)

1)Flora-Captioner:静态图像描述模型,输入机器人拍摄的画面,自动生成场景物体、位置关系、动作内容的文字说明,输出图像文本标签;

2)Flora-TempSeg:视频时序分割模型,自动识别视频里机器人动作的起止时间,把长视频切分成单动作片段,完成动作时序切分;

3)Flora-Rewarder:动作评价模型,读取动作视频片段,输出精细化文本奖励描述,给强化学习提供高质量反馈信号。

1.2 整套数据引擎流水线结构

表格

流程环节调用模型输入数据输出内容
帧文本标注Flora-Captioner机器人单帧图像场景文字描述标签
动作片段切分Flora-TempSeg连续视频流带起止时间的动作短视频
动作奖励标注Flora-Rewarder单段动作视频精细化动作评价文本

整条链路不需要人工打标,原始视频文件输入后,自动输出带文本标注的结构化数据集,直接对接机器人策略训练任务。

二、开源权重详情与获取渠道

2.1 权重版本配置

1)基础版本:FP16 精度原始预训练权重,适配 GPU 环境高精度推理;

2)轻量化版本:FP8 量化权重,降低显存占用,支持中端显卡本地运行;

3)配套资源:同步开放模型配置文件、推理代码、测试视频样例,开箱即可运行。

2.2 权重获取方式

所有模型权重统一托管在 Hugging Face 开源仓库,开发者可以使用 Git 命令拉取完整权重文件,也可以在线下载单模型权重包,配套推理脚本附带完整调用示例,无需额外修改代码就能完成本地推理测试。

三、一键搭建自动化数据引擎的操作步骤

步骤 1:环境部署,安装 PyTorch、OpenCV 等依赖库,配置 CUDA 运行环境;

步骤 2:下载开源权重,把三款模型的权重文件放到对应目录,加载模型配置参数;

步骤 3:搭建串联流水线,依次调用 Captioner、TempSeg、Rewarder 模型,接入机器人原始视频数据;

步骤 4:批量执行推理,自动生成图像标签、动作分段、奖励文本,导出 JSON 格式结构化数据集;

步骤 5:对接训练环节,把生成的标注数据集直接导入机器人强化学习框架,完成策略迭代训练。

四、技术优势与落地场景

4.1 核心技术优势

1)全链路自动化,省去人工标注人力,数据集生产效率提升数十倍;

2)模型面向机器人实操场景优化,动作识别精度更高,标签贴合机械控制任务;

3)权重完全开源,无版权限制,个人科研项目与商业产品均可免费使用;

4)支持本地离线部署,不需要调用云端 API,保障机器人场景下数据隐私安全。

4.2 主流落地场景

1)机械臂抓取、物体搬运等室内机器人强化学习数据集制作;

2)机器人仿真环境视频数据自动打标;

3)多模态机器人视觉语言策略的数据预处理;

4)小型机器人研发团队低成本搭建自有数据生产管线。

五、性能优化部署方案

1)批量推理:开启多线程批量处理,一次性读取多路视频,充分利用 GPU 算力;

2)量化压缩:选用 FP8 量化权重,在精度损失极小的前提下,把显存占用降低一半;

3)文件缓存:把处理完成的标签数据自动写入本地数据库,避免重复推理浪费算力;

4)模型并行:把三款模型部署到多张显卡,实现流水线并行处理,进一步提升视频处理速度。

【相关 FAQ】

问题 1:Flora 机器人数据引擎开源权重包含哪些模型,从哪里可以下载?

回答 1:Flora 机器人数据引擎开源权重包含 Flora-Captioner、Flora-TempSeg、Flora-Rewarder 三款核心模型,全套预训练权重托管在 Hugging Face 开源平台,支持 FP16 原版权重与 FP8 量化轻量化权重两种版本,开发者可以在线下载或者使用 Git 工具拉取完整权重文件,同时附带可直接运行的推理代码。

问题 2:搭建 Flora 机器人数据引擎,如何把三款开源模型串联成完整自动化标注流水线?

回答 2:搭建 Flora 机器人数据引擎自动化流水线时,先使用 Flora-TempSeg 把长视频切分成独立动作片段,再用 Flora-Captioner 给每一帧图像生成文本描述,最后通过 Flora-Rewarder 生成动作奖励文本;把三段推理代码按顺序串联,批量读取视频文件,就能自动输出完整结构化标注数据集,全程无需人工介入。

问题 3:Flora 机器人数据引擎开源权重能不能用于商业机器人项目,有没有使用限制?

回答 3:Flora 机器人数据引擎配套的开源权重采用宽松开源协议,科研项目与商业机器人项目都可以免费部署使用,没有额外版权约束;仅需要遵守开源仓库附带的基础使用规范,不可以把模型权重单独二次打包售卖,完全可以满足中小型机器人企业搭建自有数据标注管线的需求。

【数据来源】

[2026-10-20](NVIDIA 开源 Flora 自动化机器人数据标注模型)RoboHorizon 科技资讯

[2026-10-20](Flora 机器人数据引擎模型套件正式开源)Hugging Face 官方公告

[2026-10-20](Flora 三款视觉语言模型权重发布说明)机器之心技术快讯

[2026-10-19](机器人自动化数据引擎 Flora 技术白皮书)开源技术社区

[2026-10-18](Flora 模型视频自动标注能力实测报告)AI 机器人技术专栏

免责声明:本文仅针对 Flora 机器人数据引擎的技术能力、开源资源与部署方案进行客观技术介绍;所有开源权重的使用请严格遵循对应开源协议条款;模型部署、数据集生产与机器人训练环节,请结合自身硬件条件开展调试;本内容不构成任何商业项目落地承诺。

 
最新文章
站长推荐