8年前,一位女士由于脊髓性肌萎缩侧索硬化症(ALS)进行性瘫痪,基本失去了正常语言能力。如今,她又可以重新“开口说话”了。
根据近期发表在预印本平台bioRixv上的一篇论文[1],这位患者(受试者T12)接受了脑机接口植入,经过训练后可以以每分钟62个单词的速度进行交流,这达到了以往技术最高水平的3倍,已经大大接近了无语言障碍者每分钟160个单词的语速。
论文题图
如何让由于疾病或意外困于身体牢笼的患者们重获与外界交互的能力?脑机接口或许能够成为科技赋能的“读心术”。
当然了,脑机接口实际上并不能“读心”,它直接解读的并非当事人心中想法,而是通过放置在运动皮层的微小电极来解析瘫痪者未能实现的肢体动作。
在之前的同类研究中,受试者被要求想象手部的动作,借由脑机接口解码神经信号,在电子屏幕上移动光标、选择词句乃至操控机械臂。本文通讯作者Krishna Shenoy和Jaimie Henderson即是领域内翘楚,2021年5月发表于《自然》的一篇论文中[2],他们设计的脑机接口创新性地识别受试者写字动作的神经信号,实现了每分钟18个词的杰出表现。
这要比解读其他肢体动作更困难。虽然对我们来说,说话好像是一件很容易的事情,但现在请你尝试感受一下发音时的口面肌肉动作——从喉咙、舌头到嘴唇,数十块肌肉精密协作,轻轻振动空气,才能发出特定的声音。能否解码这些细微的动作,是研究的关键一步。
研究者们选择了腹侧前运动皮层(6v)和布罗卡区分别放下两个微电极阵列,尝试解读受试者T12的“话语”。T12患有延髓起病型ALS,言语能力已经大幅度退化,口面运动受限,仅能发出一些含混不清的声音。
有意思的是,在我们认为的语言运动中枢布罗卡区却几乎没有发现相应的可用信号。
接下来,研究者们训练了一个步长为80ms的循环神经网络,来实时解码神经信号,并结合了语言模型来提高解码速度和准确性。研究者还使用了两个不同的词库,一个包括能满足简单日常生活的50个英文单词,另一个则涵盖了英文常用的12万5千个单词。此外,受试者T12也使用了“朗读”和“默读”两种方法来读例句。
最令人惊喜的是每分钟62词的输出速度,这是之前极限每分钟18词的三倍有余。
研究中使用了两个不同大小的词库,研究者发现,单词错误率在约1000词左右达到饱和,相对的仅有50-100词的小词库才能显著提高准确率,所以词库的大小对于调整模型准确率来说并不特别实用。
而微阵列电极的数量对解码精度是有助力的,未来更高通量的电极应当能够带来更好的使用体验。
另外,研究者发现,随着时间的变化,神经活动也是在改变的,这意味着需要多次训练模型,加入无监督算法也是可行且有必要的。.
参考资料:
[1]https://www.biorxiv.org/content/10.1101/2023.01.21.524489v1.full.pdf
[2]https://www.nature.com/articles/s41586-021-03506-2
[3]https://www.technologyreview.com/2023/01/24/1067226/an-als-patient-set-a-record-for-communicating-via-a-brain-implant-62-words-per-minute/
文章来源:奇点网