首页 >> 综合 > 快讯 >

豆包 AI 上新 SeedRealtime 模型,实现能看会听、主动开口交互

2026-11-19 16:07:07 来源:网易 编辑:翟美政 

这次豆包 AI 升级的核心就是火山引擎推出的 SeedRealtime 1.0 实时音视频通话模型,它不再是传统那种分开调用语音识别、视觉模型、语音合成的串联方案,而是把画面、声音、时序信息和语音回答整合在同一个端到端模型里面,做到边看、边听、边说,而且不用等用户发问,观察到场景变化之后,它自己选合适时机主动开口说话。传统方案多个模块拼接,很容易出现延迟高、信息丢失、理解出错的问题,这套新架构直接减少这类损耗,同时能同步处理摄像头画面和环境声音,区分不同说话人、看懂画面变化,在嘈杂环境里也不容易被杂音误触发,对话节奏更贴近人和人聊天的状态。

一、核心升级亮点

  • 音视频联合理解:画面、声音、时间信息融合在一起,能靠画面消除同音词的理解错误,看懂视频里先后发生的事情,明白你指着画面里东西说的指代内容。多人场景下,可以分清谁在说话、记住不同人的需求。
  • 主动开口交互:不再只有你提问它才回答,持续感知画面和环境,出现关键物品、画面变动、任务节点的时候主动提醒,从被动问答变成主动协作。
  • 自然对话节奏:支持全双工交互,一边听一边说,能判断你有没有说完话,选合适时机接话、停顿;过滤背景闲聊噪音,减少抢话、反应慢、乱应答的情况。

二、典型使用场景清单

  1. 实景导览:对着景点、展品视频通话,豆包一边看画面一边讲解,看到重点主动介绍。
  2. 生活辅助:拍物品、故障画面,它观察到异常主动提醒,同步给你处理建议。
  3. 多人沟通:多人一起视频交流,识别不同说话人,对应不同人的需求给出信息。
  4. 跨语言实时沟通:一边看画面一边做翻译,结合场景修正翻译偏差。

三、使用说明

目前 SeedRealtime 1.0 已经开放 API 服务,同时豆包 App 视频通话功能搭载该模型。普通用户直接打开豆包 App 视频通话就能体验;企业开发者可以接入火山引擎 API,把这套能看会听主动开口的能力集成到自己产品里。

【相关 FAQ】

问题 1:豆包 AI 能看会听还能主动开口,靠的是什么模型?

回答 1:靠 SeedRealtime 1.0 实时音视频通话模型,是字节跳动 Seed 团队推出的原生音视频全双工大模型,实现音视频端到端融合,支撑豆包 AI 能看会听还能主动开口。

问题 2:豆包 AI 能看会听还能主动开口,和以前语音对话最大差别在哪?

回答 2:老版本大多是分开识别语音、识别图片、生成语音,只能等用户提问;新版本同步接收视频画面和声音,具备环境感知能力,可以在合适时机主动开口,对话节奏更自然。

问题 3:普通用户怎么体验豆包 AI 能看会听还能主动开口的功能?

回答 3:普通用户直接使用豆包 App 里面的视频通话功能即可体验;开发者需要去火山引擎申请接入 SeedRealtime 1.0 的 API。

问题 4:豆包 AI 能看会听还能主动开口,嘈杂环境会不会乱说话?

回答 4:模型自带抗干扰能力,可以区分背景噪音、旁人闲聊和目标对话,降低误触发乱开口的概率,但极端嘈杂场景识别效果依然会下降。

【参考资料】

[2026-11-19](豆包实时音视频通话模型 1.0 API 全量上线)IT 之家

[2026-11-19](豆包 AI 又进化了!实时音视频模型上线 能看会听还能主动开口)站长之家(快科技)

[2026-08-06](豆包宣布视频通话功能升级!能听会看 主动交互 更像真人)太平洋科技

[2026-08-05](原生音视频全双工大模型 SeedRealtime 发布)字节跳动 Seed 博客

【免责声明】

本文信息整理自公开科技资讯,功能效果会受设备、网络、环境光线、噪音条件影响;API 服务面向开发者,有单独计费和接入规则,功能能力后续版本可能调整,不构成产品承诺。

 
最新文章
站长推荐