新闻

亚博技术专业购彩平台

菜单

研究人员将鸟类的大脑活动转化为歌声

研究表明了人类未来演讲假体的可能性

斑胸草雀。图片由iStock_thawats

加州大学圣地亚哥分校的一项首次概念验证研究表明,仅仅通过阅读鸟类的大脑活动,就有可能重现鸟儿的歌声。研究人员能够复制出这种鸣禽复杂的发声方式,包括原来的音调、音量和音色。

六月十六日出版于当代生物学此次研究为失去讲话能力的个人建立声乐假肢的基础。

“在通信假肢中的现有技术是可植入的设备,允许您生成文本输出,每分钟写入最多20个单词,”UC San Diego的心理学教授Timothy Gentner表示,这是高级作者Timothy Gentoly表示。“现在想象一个声音假肢,让你能够用言语自然地沟通,说出你在思考的时候几乎在思考。这是我们的最终目标,它是功能恢复的下一个前沿。“

Gentner和同事正在使用的方法涉及猪鸟,例如斑马雀。与人类的声音假肢的联系可能并不明显,但实际上,鸣禽的声音与各种方式类似于人类演讲。它们很复杂,他们是学习的行为。

“In many people’s minds, going from a songbird model to a system that will eventually go into humans is a pretty big evolutionary jump,” said Vikash Gilja, a professor of electrical and computer engineering at UC San Diego who is a co-author on the study. “But it’s a model that gives us a complex behavior that we don’t have access to in typical primate models that are commonly used for neural prosthesis research.”

该研究是UC San Diego的工程师和神经科学家之间的交叉协作努力,Gilja和Gentner Labs共同努力开发神经录制技术和神经解码策略,这些策略利用神经生物学和行为实验的团队专业知识。

该团队在雄性成年斑马雀植入硅电极,并在唱歌时监测鸟类的神经活动。具体地,它们记录了大脑的传感器部分中的多个神经元的电活动,最终控制负责唱歌的肌肉。

研究人员将神经记录喂入机器学习算法。这个想法是,这些算法能够根据鸟类的神经活动制作实际斑马雀的计算机生成的副本。但将神经活动的模式转化为声音模式并不容易。

“有太多的神经图案和太多的声音模式来找到一个关于如何直接将一个信号直接映射到另一个信号的单一解决方案,”Gentner说。

为了完成这个壮举,团队使用了鸟类声音模式的简单表示。这些基本上是数学方程式,建模物理变化 - 即压力和张力的变化 - 在雀巢的声乐器官中发生,称为Syrinx,当他们唱歌时。然后,研究人员培训了他们的算法将神经活动直接映射到这些表示。

鸟歌样本:研究中的一只鸟的数量,其次是自己的自然记录歌曲,然后再现了同类的生物力学版。

研究人员说,这种方法比将神经活动映射到实际歌曲本身更有效。“如果你需要对潜在声音的每一个细微差别、每一个细节进行建模,那么绘制图像的问题就会变得更具挑战性,”Gilja说。“通过这种对鸣禽复杂鸣叫行为的简单表征,我们的系统可以学习到更健壮、更适用于更广泛的条件和行为的映射。”

该团队的下一步是证明其系统可以实时从神经活动重建鸟类。

部分挑战在于鸣禽的声音产生,就像人类一样,不仅包括声音的输出,还包括对环境和反馈的持续监控。例如,如果你给人类戴上耳机,当他们听到自己的声音时延迟,只扰乱了暂时的反馈,他们就会开始结巴。鸟类也是这样做的。他们在听自己的歌。根特纳解释说,它们会根据听到的和希望唱的歌曲来调整自己。一个成功的声乐假肢最终需要在一个同样快速且足够复杂的时间尺度上工作,以适应整个反馈回路,包括对错误进行调整。

根特纳说,“与我们的合作,我们利用鸟类40年的研究建立一个演讲为人类一个假肢装置,不会只是一个人的大脑信号转换成一组基本的单词但是给他们发出任何声音的能力,所以任何一个词,他们可以想象,这样他们就可以随心所欲地交流了。”

纸质:“神经驱动的综合学习,复杂的发声”。共同作者包括Ezequiel M. Arneodo,Shukai Chen和Daril E. Brown,都在UC San Diego。

该工作得到了国家卫生研究所(Grant R01DC018446),Kavli研究所(IRG No.2001-004),海军研究办公室(Muri N00014-1-0205)和PEW拉丁美洲奖学金在生物医学科学中。

利益声明:Vikash Gilja是人脑-计算机接口公司Paradromics, Inc.的有偿顾问。


媒体联系人

Liezel Labios, 858-246-1124,。(必须启用JavaScript以查看此电子邮件地址)

印加Kiderra,858-822-0661,。(必须启用JavaScript以查看此电子邮件地址)

uc圣地亚哥的工作室十300提供广播和电视连线,以便媒体采访我们的教师,这可以通过。(必须启用JavaScript以查看此电子邮件地址)。访问相关问题和趋势新闻故事的UC San Diego教职员专家,访问2021欧洲杯亚博