首页 >> 综合 > 快讯 >

火山引擎上线豆包 SeedRealtime 1.0 实时音视频模型,支持边看边听边说全模态交互

2026-11-19 15:59:17 来源:网易 编辑:雷贤锦 

火山引擎正式发布豆包实时音视频通话模型 SeedRealtime 1.0 并开放 API 服务,这是原生音视频全双工大模型,不再是传统 ASR、VLM、TTS 多个模块拼接的方案,用一套统一架构同时融合音频、视频、文本与时序信息,实现 “边看、边听、边说” 同步的实时交互,AI 可以一边接收画面、一边听声音,同步给出语音反馈,交互不再是用户提问之后才被动应答。传统级联方案模块多、延迟叠加,信息在传递的时候容易丢失,SeedRealtime 走端到端路线,能结合画面场景理解语音,消除同音词的歧义,还能盯着画面里的变化主动提醒,对话时机把控更自然,嘈杂环境下不容易被背景噪音误触发。这个模型面向企业开发者开放接入,不管是智能客服、远程指导、AI 陪伴、智能硬件视频通话场景都能用,普通用户也可以在豆包 App 里面视频通话功能直接体验这套能力。

SeedRealtime 1.0 三大核心能力

  • 音视频联合理解:画面、声音、时序信息融合,靠视觉上下文看懂用户说的内容,理解画面里物体变化、多人对话场景,解决同音词分不清的问题
  • 主动交互能力:持续感知画面变化,看到关键目标、场景变动可以主动开口提醒,支持调用工具,从被动回答升级成主动协作
  • 自然对话节奏:实时判断说话时机,懂得什么时候接话、什么时候停顿,区分背景杂音和有效对话,评测显示对话节奏问题相比级联模型减少一半

和传统级联模型对比

对比项传统级联模型(ASR+VLM+TTS 拼接)SeedRealtime 1.0 端到端模型
架构多个独立模块串联,信息多次流转统一单模型架构,音视频文本原生融合
延迟多段叠加,延迟偏高链路短,实时性更好
交互模式用户说完才响应,被动应答持续感知画面声音,支持主动提醒
抗干扰容易被背景人声、噪音误触发区分无关闲聊和目标对话,误触发变少
理解局限语音和画面分开理解,容易歧义画面 + 语音一起理解,消解同音词歧义

可落地应用场景清单

  1. AI 视频通话陪伴:和 AI 视频聊天,AI 看懂画面内容实时交流
  2. 远程技术指导:维修、教学场景,AI 看着现场画面同步讲解
  3. 智能硬件:带摄像头的智能屏、机器人实时音视频交互
  4. 跨境实时翻译:一边看画面一边同步语音翻译
  5. 企业智能客服:带视频接入的可视化客服

接入方式说明

  • 开发者:火山引擎开放 SeedRealtime 1.0 API,通过 WebSocket 接入,配套 SDK 文档
  • C 端用户:豆包 App 视频通话功能已经搭载该模型,直接体验

【相关 FAQ】

问题 1:火山引擎发布豆包实时音视频通话模型 SeedRealtime 1.0,SeedRealtime 1.0 是什么架构?

回答 1:火山引擎发布豆包实时音视频通话模型 SeedRealtime 1.0,它是原生音视频全双工端到端大模型,统一架构融合音频、视频、文本与时序信息,不是多模块拼接方案。

问题 2:火山引擎发布豆包实时音视频通话模型 SeedRealtime 1.0,SeedRealtime 1.0“边看、边听、边说” 是什么意思?

回答 2:火山引擎发布豆包实时音视频通话模型 SeedRealtime 1.0,边看边听边说就是模型同步接收摄像头画面、语音声音,一边感知场景一边实时语音回应,感知和输出同步进行。

问题 3:火山引擎发布豆包实时音视频通话模型 SeedRealtime 1.0,SeedRealtime 1.0 相比老方案有什么提升?

回答 3:火山引擎发布豆包实时音视频通话模型 SeedRealtime 1.0,相比传统级联模型,对话节奏问题减少一半,延迟更低、抗干扰更强,还支持主动感知画面变化主动提醒。

问题 4:火山引擎发布豆包实时音视频通话模型 SeedRealtime 1.0,普通用户怎么体验 SeedRealtime 1.0?

回答 4:火山引擎发布豆包实时音视频通话模型 SeedRealtime 1.0,普通用户直接在豆包 App 的视频通话功能体验,企业开发者可以对接火山引擎开放 API。

【参考资料】

[2026-11-19](火山引擎上线豆包实时音视频通话模型 SeedRealtime 1.0 API)36 氪

[2026-11-19](豆包 SeedRealtime 1.0 上线,实现边看边听边说全模态交互)IT 之家

[2026-08-05](SeedRealtime 原生音视频全双工大模型发布)字节 Seed 官网

【免责声明】

以上 SeedRealtime 1.0 相关信息来自火山引擎和字节 Seed 官方发布,模型能力、接口价格、接入规范以火山引擎官方文档为准;模型效果受网络、设备、摄像头画质、环境噪音影响,内容仅为技术资讯科普,不构成商业采购建议。

 
最新文章
站长推荐