港中深联合微软推出 ConvexLLM,C-Gate 凸包语音接口刷新同参开源语音推理成绩
港中深和微软联合发布的 ConvexLLM,核心亮点就是首创 C-Gate 凸包语音接口,在 VoiceBench 十一项任务综合得分 75.36,做到同参数量开源语音模型里语音推理能力第一,解决了传统语音大模型常用 MLP、Q-Former 桥接模块容易把音频特征映射到文本向量空间外面、破坏大模型原本文本推理能力的老问题。传统方案里,语音编码器输出的声学特征自由映射,大模型解码器要额外花精力去理解陌生音频向量,会削弱预训练学到的知识;而 C-Gate 会把每一段音频表征限制在冻结文本 Embedding 的凸包内部,音频直接复用大模型已经熟悉的文本语义空间,不用让大模型重新适应,优先保住文本能力,在语音问答、语音推理场景优势最突出,当然在纯语音转写、基础音频识别任务上,和部分基线模型存在性能取舍。
一、ConvexLLM 整体架构
整套模型分成三大模块,声学编码器、C-Gate 凸包语音接口、文本解码器。
- 声学编码器:负责接收语音、音频信号,提取原始声学特征;
- C-Gate 凸包语音接口:整套方案的核心,拿到声学特征之后,路由模块挑选 Top-K 冻结文本词向量,用非负权重加权混合,权重之和等于 1,保证输出向量落在文本 Embedding 凸包内;
- 语言解码器:直接读取 C-Gate 输出的音频表征,搭配提示词,输出回答,文本 Embedding 表全程冻结。
二、C-Gate 和传统接口对比
| 接口类型 | 向量约束 | 特点 | 短板 |
|---|---|---|---|
| MLP/Q-Former | 无约束,自由映射 | 适配灵活,转写能力不错 | 向量容易跑出文本空间,损耗大模型文本推理 |
| 离散 Token 对齐 | 只能选单个词元 | 对齐简单,适合 ASR | 丢失语气、情绪这类连续声学信息 |
| C-Gate 凸包接口 | 输出在文本 Embedding 凸包内 | 保留连续声学信息,复用原有文本知识 | 转写、基础音频识别有小幅取舍 |
三、实测关键指标
- VoiceBench 11 项综合评测:75.36,同参开源模型第一;
- MMAU Test-mini 准确率:62.50%;
- 优势场景:语音知识问答、口语推理;
- 偏弱场景:纯语音转录、简单音频分类识别;
- 对比 2B 解码器:C-Gate 综合语音表现强于 MLP、Q-Former,文本能力接近 MLP 方案。
四、项目参与团队
研究由香港中文大学(深圳)数据科学学院、微软亚洲研究院、微软 CoreAI 联合完成,通讯作者为港中深武执政副教授,微软研究院首席研究员刘树杰参与研究。
【相关 FAQ】
问题 1:ConvexLLM 的 C-Gate 凸包语音接口核心原理是什么?
回答 1:ConvexLLM 的 C-Gate 凸包语音接口,会把音频帧转化成若干冻结文本 Embedding 的凸组合,权重非负且总和为 1,强制音频表征落在文本向量凸包里面,让语音信号直接适配大模型原生文本语义空间,减少对大模型原有文本推理能力的破坏。
问题 2:ConvexLLM 对比其他语音 LLM,优势集中在哪?
回答 2:ConvexLLM 最大优势是语音推理、口语知识问答,VoiceBench 综合分数在同参开源模型第一,依靠 C-Gate 凸包语音接口保留大模型预训练知识;短板是纯语音转写、简单音频识别不一定比传统 MLP/Q-Former 方案强。
问题 3:ConvexLLM 是不是不需要先转文字就能听懂语音推理问题?
回答 3:是的,ConvexLLM 依靠 C-Gate 凸包语音接口绕过强制转录步骤,声学特征经过 C-Gate 处理之后直接送入解码器,直接做语音推理,不用先把语音翻译成文字再交给大模型处理。
问题 4:ConvexLLM 会开放权重和代码吗?
回答 4:论文配套说明会放出模型权重、样例输出、干预测试套件,方便社区复现和二次开发 ConvexLLM 以及 C-Gate 凸包语音接口相关研究。
【参考资料】
[2026-11-19](港中深联合微软研究院提出多模态统一建模新架构 ConvexLLM,让声音接上大模型已经学会的知识与推理)新浪财经
[2026-11-19](ConvexLLM 让声音接上大模型已经学会的知识与推理)网易
[2026-11-19](CUHK-Shenzhen and Microsoft Research Propose ConvexLLM)AIBase
[2026-10-16](ConvexLLM: Scaling Convex-Hull Speech Interfaces to General-Purpose Audio Intelligence)arXiv
[2026-09-29](28 篇!港中大 (深圳) 数据科学学院论文入选 NeurIPS 2026)香港中文大学(深圳)数据科学学院
【免责声明】
本内容仅为技术资讯整理,所有性能数据、方案描述均来自公开论文与媒体报道,不构成技术选型、商业落地建议;模型效果受参数量、训练数据集、下游任务影响,实际落地表现存在差异;相关知识产权归属对应研究团队。
相关阅读
-
格力壁挂空调拆开清洗分为基础清洗和深度拆机清洗,基础清洗只掀开前面板取出滤网冲洗,操作简单适合日常维护...浏览全文>>
-
宝马 3 系并不是全部都是华晨宝马,国内市场同时存在华晨宝马国产版本和德国原厂进口版本,国产华晨宝马 3...浏览全文>>
-
最近网上一段改装视频热度很高,改装师傅直接把理想的动力电池拆下来,手工切割底盘支架、打磨电池外壳,强行...浏览全文>>
-
最新半月零售数据显示国内乘用车新能源渗透率达到 73 2%,也就是每卖 10 台新车,超过 7 台是电动汽车,...浏览全文>>
-
最近出圈的 Impossible OS 是一个从零开始写内核的桌面操作系统,它不是 Linux 发行版,也不是 Windows...浏览全文>>
-
WSTS 最新统计数据出炉,2026 年第三季度全球半导体市场规模 4810 亿美元,折合人民币超 3 2 万亿元,...浏览全文>>
-
大家说的挽救老黄的男人就是入交昭一郎,也就是当年世嘉美国负责人,在英伟达早期濒临破产的生死关头,是他给...浏览全文>>
-
最近四川一位车主车身剐蹭之后,咨询汽修店报价 2000 元喷漆,觉得价格偏高,直接把车开到美甲店,请美甲师...浏览全文>>
-
英伟达现在正处在管理层动荡的阶段,老黄和董事会矛盾公开,员工内部也出现分化,一部分员工联名希望黄仁勋回...浏览全文>>
-
马斯克在《纽约时报》DealBook 峰会的视频连线采访里再次公开表态支持黄仁勋,他把黄仁勋比作巅峰时期的迈克...浏览全文>>
- 宝马 3 系都是华晨宝马吗 国产进口版本区分详解
- 英伟达陷入管理层内乱,AMD 苏姿丰给出高增长指引,服务器业务明年翻倍
- 外号 “北美大豆包” 的谷歌,凭借 Gemini4 系列重回 AI 第一梯队
- 中央空调是什么意思 含义与选购详解
- 宝骏 730 有自动挡的吗 自动变速箱版本详解
- 欢聚集团 2026 年 Q3 财报出炉 总收入 6.25 亿美元同比增 15.6% 非直播收入占比 32.8%
- 用户误订 2027 年酒店订单,付 1.8 万 4 分钟申请更正被平台以不可退改拒绝
- 中南大学通报附属医院论文实验图片疑似 AI 造假事件 3 篇论文查实学术不端
- 国产芯片规模达 1.58 万亿同比大涨 89.4%,近千家芯片企业营收破亿
- 联想 2026/27 财年 Q2 单季营收突破 2000 亿 净利润同比大涨 166% 解读
- 腾讯 Q3 财报披露微信 AI 助手小微日活 3000 万 AI 转向能力打磨和成本优化
- 包粽子的米要泡多久最好 糯米浸泡时长实操判定指南
- 阿维塔高管再预告摆拍开会,此前视频曾被吐槽演技尴尬
- 黑客组织 The Gentlemen 宣称攻破 NVIDIA,勒索倒计时不足 10 天,到期威胁公开窃取数据
- 企业软件行业没有消亡,正在 AI 驱动下发生 K 型分化
- 东洲家园是回迁房 产权性质详细解析
- 安徽水电学院是几本 院校层次详细解读
- 限价房是什么意思 保障性住房概念详解
- 空调有换气功能吗 功能区分详解
- 改款纯电小钢炮零跑 Lafa5 参数官宣搭载 800V 平台、CLTC 续航 640km
