打破记录!脑机接口让基本失去语言能力的ALS患者,可以以每分钟62个单词的速度进行交流,达到以往技术最高水平的3倍

8年前,一位女士由于脊髓性肌萎缩侧索硬化症(ALS)进行性瘫痪,基本失去了正常语言能力。如今,她又可以重新“开口说话”了。

根据近期发表在预印本平台bioRixv上的一篇论文[1],这位患者(受试者T12)接受了脑机接口植入,经过训练后可以以每分钟62个单词的速度进行交流,这达到了以往技术最高水平的3倍,已经大大接近了无语言障碍者每分钟160个单词的语速

《打破记录!脑机接口让基本失去语言能力的ALS患者,可以以每分钟62个单词的速度进行交流,达到以往技术最高水平的3倍》

论文题图

《打破记录!脑机接口让基本失去语言能力的ALS患者,可以以每分钟62个单词的速度进行交流,达到以往技术最高水平的3倍》

即使已经进入互联网时代,我们拥有了各种即时通讯方法,在文字外又获得了emoji和表情包等表达方式,但不可否认的是,“说话”仍然是人与人之间最快速的交流方式。

如何让由于疾病或意外困于身体牢笼的患者们重获与外界交互的能力?脑机接口或许能够成为科技赋能的“读心术”。

当然了,脑机接口实际上并不能“读心”,它直接解读的并非当事人心中想法,而是通过放置在运动皮层的微小电极来解析瘫痪者未能实现的肢体动作

在之前的同类研究中,受试者被要求想象手部的动作,借由脑机接口解码神经信号,在电子屏幕上移动光标、选择词句乃至操控机械臂。本文通讯作者Krishna Shenoy和Jaimie Henderson即是领域内翘楚,2021年5月发表于《自然》的一篇论文中[2],他们设计的脑机接口创新性地识别受试者写字动作的神经信号,实现了每分钟18个词的杰出表现。

《打破记录!脑机接口让基本失去语言能力的ALS患者,可以以每分钟62个单词的速度进行交流,达到以往技术最高水平的3倍》

不过正如前文所述,“说话”仍旧是远超文字的最快的交流方式,脑机接口是否有希望直接当“嘴替”呢?

这要比解读其他肢体动作更困难。虽然对我们来说,说话好像是一件很容易的事情,但现在请你尝试感受一下发音时的口面肌肉动作——从喉咙、舌头到嘴唇,数十块肌肉精密协作,轻轻振动空气,才能发出特定的声音。能否解码这些细微的动作,是研究的关键一步。

研究者们选择了腹侧前运动皮层(6v)和布罗卡区分别放下两个微电极阵列,尝试解读受试者T12的“话语”。T12患有延髓起病型ALS,言语能力已经大幅度退化,口面运动受限,仅能发出一些含混不清的声音。

《打破记录!脑机接口让基本失去语言能力的ALS患者,可以以每分钟62个单词的速度进行交流,达到以往技术最高水平的3倍》

在对应的脑区放下微阵列电极

幸运的是,6v区神经信号非常清晰,能够以相当高的精度区分开不同口面运动,区分34种口面运动精度达到92.7%,区分39个音素(语音的最小单位)的精度也达到了60%

有意思的是,在我们认为的语言运动中枢布罗卡区却几乎没有发现相应的可用信号。

接下来,研究者们训练了一个步长为80ms的循环神经网络,来实时解码神经信号,并结合了语言模型来提高解码速度和准确性。研究者还使用了两个不同的词库,一个包括能满足简单日常生活的50个英文单词,另一个则涵盖了英文常用的12万5千个单词。此外,受试者T12也使用了“朗读”和“默读”两种方法来读例句。

《打破记录!脑机接口让基本失去语言能力的ALS患者,可以以每分钟62个单词的速度进行交流,达到以往技术最高水平的3倍》

脑机接口运行思路

训练成果相当喜人,50词版本单词错误率仅有9.1%,而既往研究最佳记录也是这个数字的2.7倍;125k词版本单词错误率23.8%,而此前从未在这么大的数据集中做过测试。如果进一步改进语言模型,错误率还可以继续降低。

最令人惊喜的是每分钟62词的输出速度,这是之前极限每分钟18词的三倍有余。

《打破记录!脑机接口让基本失去语言能力的ALS患者,可以以每分钟62个单词的速度进行交流,达到以往技术最高水平的3倍》

不同模型的错误率

研究者还讨论了能够进一步提高识别精度的思路。

研究中使用了两个不同大小的词库,研究者发现,单词错误率在约1000词左右达到饱和,相对的仅有50-100词的小词库才能显著提高准确率,所以词库的大小对于调整模型准确率来说并不特别实用。

而微阵列电极的数量对解码精度是有助力的,未来更高通量的电极应当能够带来更好的使用体验

另外,研究者发现,随着时间的变化,神经活动也是在改变的,这意味着需要多次训练模型,加入无监督算法也是可行且有必要的。.

《打破记录!脑机接口让基本失去语言能力的ALS患者,可以以每分钟62个单词的速度进行交流,达到以往技术最高水平的3倍》

影响准确性的几个因素

遗憾的是,在论文上线的同一天,通讯作者之一Krishna Shenoy因胰腺癌去世,我们无法看到这项技术在他手中继续进化的模样了。

参考资料:

[1]https://www.biorxiv.org/content/10.1101/2023.01.21.524489v1.full.pdf

[2]https://www.nature.com/articles/s41586-021-03506-2

[3]https://www.technologyreview.com/2023/01/24/1067226/an-als-patient-set-a-record-for-communicating-via-a-brain-implant-62-words-per-minute/

文章来源:奇点网

《打破记录!脑机接口让基本失去语言能力的ALS患者,可以以每分钟62个单词的速度进行交流,达到以往技术最高水平的3倍》

点赞

发表回复

您的电子邮箱地址不会被公开。 必填项已用*标注