首页 >> 综合 > 快讯 >

港中深联合微软推出 ConvexLLM,C-Gate 凸包语音接口刷新同参开源语音推理成绩

2026-11-19 15:13:58 来源:网易 编辑:国钧 

港中深和微软联合发布的 ConvexLLM,核心亮点就是首创 C-Gate 凸包语音接口,在 VoiceBench 十一项任务综合得分 75.36,做到同参数量开源语音模型里语音推理能力第一,解决了传统语音大模型常用 MLP、Q-Former 桥接模块容易把音频特征映射到文本向量空间外面、破坏大模型原本文本推理能力的老问题。传统方案里,语音编码器输出的声学特征自由映射,大模型解码器要额外花精力去理解陌生音频向量,会削弱预训练学到的知识;而 C-Gate 会把每一段音频表征限制在冻结文本 Embedding 的凸包内部,音频直接复用大模型已经熟悉的文本语义空间,不用让大模型重新适应,优先保住文本能力,在语音问答、语音推理场景优势最突出,当然在纯语音转写、基础音频识别任务上,和部分基线模型存在性能取舍。

一、ConvexLLM 整体架构

整套模型分成三大模块,声学编码器、C-Gate 凸包语音接口、文本解码器。

  1. 声学编码器:负责接收语音、音频信号,提取原始声学特征;
  2. C-Gate 凸包语音接口:整套方案的核心,拿到声学特征之后,路由模块挑选 Top-K 冻结文本词向量,用非负权重加权混合,权重之和等于 1,保证输出向量落在文本 Embedding 凸包内;
  3. 语言解码器:直接读取 C-Gate 输出的音频表征,搭配提示词,输出回答,文本 Embedding 表全程冻结。

二、C-Gate 和传统接口对比

接口类型向量约束特点短板
MLP/Q-Former无约束,自由映射适配灵活,转写能力不错向量容易跑出文本空间,损耗大模型文本推理
离散 Token 对齐只能选单个词元对齐简单,适合 ASR丢失语气、情绪这类连续声学信息
C-Gate 凸包接口输出在文本 Embedding 凸包内保留连续声学信息,复用原有文本知识转写、基础音频识别有小幅取舍

三、实测关键指标

  • VoiceBench 11 项综合评测:75.36,同参开源模型第一;
  • MMAU Test-mini 准确率:62.50%;
  • 优势场景:语音知识问答、口语推理;
  • 偏弱场景:纯语音转录、简单音频分类识别;
  • 对比 2B 解码器:C-Gate 综合语音表现强于 MLP、Q-Former,文本能力接近 MLP 方案。

四、项目参与团队

研究由香港中文大学(深圳)数据科学学院、微软亚洲研究院、微软 CoreAI 联合完成,通讯作者为港中深武执政副教授,微软研究院首席研究员刘树杰参与研究。

【相关 FAQ】

问题 1:ConvexLLM 的 C-Gate 凸包语音接口核心原理是什么?

回答 1:ConvexLLM 的 C-Gate 凸包语音接口,会把音频帧转化成若干冻结文本 Embedding 的凸组合,权重非负且总和为 1,强制音频表征落在文本向量凸包里面,让语音信号直接适配大模型原生文本语义空间,减少对大模型原有文本推理能力的破坏。

问题 2:ConvexLLM 对比其他语音 LLM,优势集中在哪?

回答 2:ConvexLLM 最大优势是语音推理、口语知识问答,VoiceBench 综合分数在同参开源模型第一,依靠 C-Gate 凸包语音接口保留大模型预训练知识;短板是纯语音转写、简单音频识别不一定比传统 MLP/Q-Former 方案强。

问题 3:ConvexLLM 是不是不需要先转文字就能听懂语音推理问题?

回答 3:是的,ConvexLLM 依靠 C-Gate 凸包语音接口绕过强制转录步骤,声学特征经过 C-Gate 处理之后直接送入解码器,直接做语音推理,不用先把语音翻译成文字再交给大模型处理。

问题 4:ConvexLLM 会开放权重和代码吗?

回答 4:论文配套说明会放出模型权重、样例输出、干预测试套件,方便社区复现和二次开发 ConvexLLM 以及 C-Gate 凸包语音接口相关研究。

【参考资料】

[2026-11-19](港中深联合微软研究院提出多模态统一建模新架构 ConvexLLM,让声音接上大模型已经学会的知识与推理)新浪财经

[2026-11-19](ConvexLLM 让声音接上大模型已经学会的知识与推理)网易

[2026-11-19](CUHK-Shenzhen and Microsoft Research Propose ConvexLLM)AIBase

[2026-10-16](ConvexLLM: Scaling Convex-Hull Speech Interfaces to General-Purpose Audio Intelligence)arXiv

[2026-09-29](28 篇!港中大 (深圳) 数据科学学院论文入选 NeurIPS 2026)香港中文大学(深圳)数据科学学院

【免责声明】

本内容仅为技术资讯整理,所有性能数据、方案描述均来自公开论文与媒体报道,不构成技术选型、商业落地建议;模型效果受参数量、训练数据集、下游任务影响,实际落地表现存在差异;相关知识产权归属对应研究团队。

 
最新文章
站长推荐