言语产生是一种复杂的神经现象,研究人员对其解释却张口结舌。将控制口腔、下巴和舌头中精确肌肉运动的复杂神经区域网络与处理听到自己声音的听觉反馈的区域分开是一个复杂的问题,也是下一代语音必须克服的问题。生产假肢。
现在,纽约大学的一组研究人员取得了重要发现,有助于理清这个网络,并利用它来构建声音重建技术,重现失去说话能力的患者的声音。
该团队由纽约大学坦顿分校生物医学工程和纽约大学格罗斯曼医学院神经学副教授 Adeen Flinker 和纽约大学坦顿分校生物医学工程和电气与计算机工程教授、同时也是纽约大学坦顿分校成员的 Yao Wang 共同领导。 NYU WIRELESS 创建并使用复杂的神经网络从大脑录音中重新创建语音,然后使用该重新创建来分析驱动人类语音的过程。
他们在《美国国家科学院院刊》(PNAS)上发表的一篇新论文中详细介绍了他们的新发现。
人类语音产生是一种复杂的行为,涉及运动命令的前馈控制以及自产生语音的反馈处理。这些过程需要多个大脑网络的协同参与。然而,很难将运动控制的皮层募集的程度和时间与言语产生产生的感觉处理分开。
在一篇新论文中,研究人员成功地解开了语音生成过程中反馈和前馈的复杂过程。该团队利用人类神经外科录音的创新深度学习架构,采用基于规则的可微分语音合成器来解码皮层信号中的语音参数。