首页 >> 综合 > 快讯 >

智元发布 WITA-Omni 具身全模态端到端交互大模型

2026-11-10 23:18:06 来源:网易 编辑:安柔燕 

智元正式推出 WITA-Omni 硅光动语全模态大模型,这是行业首个具身全模态端到端交互大模型,专门给人形机器人打造面向物理世界的交互大脑,和以往拼接式多模态模型不一样,它不是把聊天大模型直接装到机器人里面,而是把动作、表情和语音放在同一优先级,一套模型统一处理感知、思考、输出动作和对话。传统机器人交互大多是分段处理,先听语音转文字,再理解、生成回答,最后再驱动动作,整个流程是串行的,中间会丢失语气、情绪、环境时序信息,等待时间长,还需要唤醒词才能触发对话。WITA-Omni 用流式全双工架构,做到边听、边思考、边回话、边做动作、边出表情,交互响应最快 400 毫秒,平均 600 毫秒,比行业平均速度快接近 3 倍,还支持中途插话、打断交流,更贴近真人沟通的节奏。

输入输出能力

输入不再只有视频、音频,还可以接收机器人本体的触觉信号、本体姿态状态等机器人原生感知数据;输出除了语音,还能同步输出机器人肢体动作、面部表情,一句话配合对应的手势、眼神、姿态,实现完整的行为表达。

全模态拒识功能

不用唤醒词,机器人自动判断要不要回应。它会结合人的朝向、画面、声音、声纹、唇动、姿态、对话语义和上下文综合判断,多人聊天、旁边有广播杂音的时候,不容易乱触发,不会随便搭话。

核心架构

采用 Thinker–Talker–Actor 三模块架构。Thinker 负责跨模态理解和推理,把文本、图像、音频、触觉信息放到同一个表征空间;Talker 实时生成语音;Actor 专门输出动作和表情,三个模块共用一套时序状态,同步联动,而不是分开独立跑。

适用场景

主要面向人形机器人,适合服务接待、门店迎宾、家庭陪护、工业协同等场景,机器人可以一边听懂指令,一边配合转身、抬手、目光跟随等动作,不再只是单纯说话。

前期评测基础

WITA-Omni 的预览版本 WITA-Omni Preview 此前就在 DailyOmni 全模态榜单拿到 85.21 分,拿下榜单第一,八项细分指标里面六项第一,验证了它音视频时序对齐、跨模态时序推理的能力。

【相关 FAQ】

问题 1:WITA-Omni 和普通多模态大模型最大区别是什么?

回答 1:普通多模态大模型大多面向图文、短视频,输出以文字语音为主,WITA-Omni 是具身原生的端到端模型,面向机器人物理交互,动作、表情是和语音同级的原生输出,还支持触觉、本体状态这类机器人专属感知输入,专门适配物理世界交互。

问题 2:WITA-Omni 的全模态拒识是什么意思?

回答 2:WITA-Omni 的全模态拒识就是机器人不需要唤醒词,依靠视觉、声音、姿态、语义等多维度信息一起判断,识别是不是在和自己说话,过滤环境杂音、旁人闲聊,减少误触发。

问题 3:WITA-Omni 的交互时延表现怎么样?

回答 3:WITA-Omni 最快响应 400 毫秒,平均 600 毫秒,依托流式全双工端到端架构,告别串行分段处理,支持实时插话打断,交互节奏更接近真人对话。

问题 4:WITA-Omni 可以直接用在哪些设备上?

回答 4:WITA-Omni 是面向人形机器人打造的交互大脑,适配智元自家 AGIBOT 人形机器人,用于服务、迎宾、陪护、工业协同等机器人交互场景。

【参考资料】

[2026-11-10](号称行业首个具身全模态端到端交互大模型,智元发布 WITA-Omni)IT 之家

[2026-11-10](号称行业首个具身全模态端到端交互大模型!智元机器人发布 WITA-Omni)快科技

[2026-07-29](全球第一,智元 WITA-Omni Preview 登顶 DailyOmni 全模态理解榜单)智元创新官网

[2026-07-30](国产具身原生全模态大模型 登顶 DailyOmni 全模态理解榜单)央广网

【免责声明】

本文内容仅为行业资讯整理,模型性能、落地效果以官方实测、正式产品参数为准,不构成投资、采购建议。

 
最新文章