将鸟类的大脑信号解码成歌曲的音节

文章内容

加州大学圣地亚哥分校的一项新研究报告称，研究人员可以通过读取鸟类大脑中的电信号来预测鸟会唱什么音节以及什么时候唱。

能够从鸟类的大脑活动中预测其发声行为，是为丧失说话能力的人类制造发声假肢的早期一步。

“我们的工作为实现更大的目标奠定了基础，”加州大学圣地亚哥分校雅各布斯工程学院电气和计算机工程博士生达里尔·布朗说，他是该研究的第一作者，该研究于9月23日发表在《科学》杂志上PLoS计算生物学．“我们正在研究鸟类的叫声，这将帮助我们更接近于设计一种用于发声和交流的脑机接口。”

这项研究探索了如何利用斑胸草雀等鸣禽的大脑活动来预测它们的发声行为。研究人员对鸣禽的发声特别感兴趣，因为它们与人类语言有相似之处;它们都是复杂的习得行为。

雄性斑胸草雀的声音记录(上)和相应的神经活动(下)。图片由PLoS计算生物学提供

在这项研究中，研究人员在雄性成年斑胸草雀的大脑中植入了硅电极，并记录了它们唱歌时的神经活动。研究人员研究了一组被称为局部场势的特定电信号。这些信号被记录在大脑中学习和产生歌曲所必需的部分。

局部场势的特殊之处在于它们被用来预测人类的发声行为。到目前为止，这些信号已经在人类大脑中进行了大量研究，但在鸣禽的大脑中还没有。

加州大学圣地亚哥分校的研究人员想要填补这一空白，看看斑马雀的这些相同的信号是否可以同样用于预测发声行为。该项目是加州大学圣地亚哥分校的工程师和神经科学家之间的交叉合作，由电子和计算机工程教授Vikash Gilja和心理学和神经生物学教授Timothy Gentner领导。

Gilja说:“我们探索局部领域潜力的动机是，大多数人类语音假肢开发的补充工作都集中在这些类型的信号上。”“在这篇论文中，我们展示了斑胸草雀和人类以及其他灵长类动物之间的这种信号有很多相似之处。有了这些信号，我们就可以开始解码大脑产生语音的意图。”

根特纳说:“从长远来看，我们希望利用我们从鸣禽大脑中获得的详细知识来开发一种通信假肢，可以改善患有各种疾病和障碍的人类的生活质量。”

研究人员发现，局部场势的不同特征转化为鸟叫声的特定音节，以及音节何时会在歌唱中出现。

实验工作流程说明。当一只雄性斑胸草雀歌唱时，它的歌声由“1、2、3”组成，它会考虑下一个要唱的音节(“4”)。记录鸟类的神经活动，并提取局部场电位。然后，研究人员分析这些信号的特征，以预测他们想要唱的下一个音节。

布朗说:“使用这个系统，我们能够高保真地预测鸣鸟发声行为的开始——鸟会唱什么顺序，什么时候唱。”

研究人员甚至可以预测歌曲序列的变化，精确到音节。例如，鸟的歌声是建立在一组重复的音节上的，“1,2,3,4”，时不时地，这个序列就会变成“1,2,3,4,5”或“1,2,3”。研究人员发现，局部场势的特征揭示了这些变化。

Gilja说:“这些形式的变化对我们测试假设的语音假肢很重要，因为人类不会一遍又一遍地重复一个句子。”“令人兴奋的是，我们发现人类生理学研究中记录和记录的大脑信号与我们对鸣禽的研究有相似之处。”

论文:“运动前区域的局部场电位预测学习的声音序列。”合著者包括加州大学圣地亚哥分校的Jairo I. Chavez、Derek H. Nguyen、Adam Kadwory、Bradley Voytek和Ezequiel M. Arneodo。

这项工作得到了美国国立卫生研究院(R01DC008358, R01DC018055, R01GM134363)，美国国家科学基金会(BCS-1736028)， Kavli大脑与心智研究所(IRG #2016-004)，海军研究办公室(MURI N00014-13-1-0205)和加州大学历史黑人学院和大学倡议的支持。