研究人员结合人工智能算法实现“意念写字”

2021-06-24 08:40:07 来源：科技日报

进行“意念写字”时会在屏幕上呈现一个虚拟的键盘，键盘中的每个字符都以不同频率进行编码。当想拼写某个字符的时候，只需看着这个字符，不同频率的字符就会带来不同的视觉刺激，从而诱发出特定模式的脑电波。

近日，美国斯坦福大学研究人员首次破译了与手写书信相关的大脑活动，并结合人工智能算法，实现“意念写字”。这使得瘫痪者只需“脑补”手写文字，他所想的文本就会实时显示在屏幕上。

虽然通过脑机接口（BCI）技术实现意念操控已不是什么新鲜事，但此次让瘫痪者想象自己书写，从而将意念转化为真实的文本，并达到90字符/分钟的速度和99%的准确度也是非常令人惊喜的。这也让人们看到了未来利用BCI技术实现高效意念操控和交流的希望。

BCI技术写字的核心在编码解码

“脑机接口，顾名思义，就是大脑与计算机之间的一个接口，通过这个接口，大脑能够实现与计算机信息的直接交流。反之，计算机也能够通过这个接口把信息直接加载到脑子里。”天津脑科学中心主任助理、天津大学医学工程与转化医学研究院许敏鹏副教授介绍，在现阶段，脑机接口研究主要集中在解读大脑意图方面，根据传感方式的不同，可分为非侵入式BCI和侵入式BCI。

前述美国斯坦福大学“意念写字”的研究，是利用了侵入式BCI技术。研究者将两个微小的传感器植入瘫痪者大脑控制手和手臂的区域，每个传感器都含有96个电极，当瘫痪者想象写字时，团队利用传感器从单个神经元中拾取信号，再通过机器学习算法识别出他的大脑随每个字母产生的模式。

“侵入式BCI需要通过外科手术，将信号检测电极植入大脑皮层。”许敏鹏表示，侵入式BCI可直接提取神经信号，具有较高的信噪比；但存在长期生物相容性等瓶颈问题，且电极周围微环境的变化容易对信号质量带来影响，不利于长时间采集。

非侵入式BCI则是将电极放置在头皮部位得到头皮脑电信号，具有安全无创、优良的全脑同步记录等优势，因此目前在教育、医疗、航天等众多领域显示了更加广泛的应用前景。

“用非侵入式BCI也能实现‘意念写字’。”许敏鹏介绍，2021年春节，天津大学神经工程团队研发的“哪吒”脑控智臂机器人系统，利用戴在两位协作者头上的“电极帽”捕获他们的头皮脑电波，经过解码融合各方的合作意图指令，控制机械臂写出了一个“福”字。

“无论是侵入式还是非侵入式的BCI‘意念写字’，背后都是一套复杂的编码与解码过程。”许敏鹏解释，进行“意念写字”时，无论英文还是中文都会在屏幕上呈现一个虚拟的键盘，键盘中的每个字符都以不同频率进行编码。当想拼写某个字符的时候，只需看着这个字符，不同频率的字符就会带来不同的视觉刺激，从而诱发出特定模式的脑电波。脑机接口设备捕捉到脑电波信号，然后通过算法解码脑电波模式，就能确定看的是哪个字符。

斯坦福大学此次研究通过“脑补”手写笔迹，大幅度提高了“意念”书写的速度，主要是因为科研人员在对脑电信号的解码方面取得了突破。研究人员首次破译了与手写字母相关的大脑活动，通过每个字母引发脑电波的高度不同的活动模式，使算法相对容易地将不同字母区分开。

使用BCI技术写字还需排除“杂念”

在电视报道中，我们经常能见到如下的场景，肢体活动受限的人只需盯着电脑屏幕，转动眼球，便可控制鼠标移动，再通过眨眼或长时间凝视选定目标，就能写字、画画。比如霍金通过一套眼部动作—数据信息—语音的转换设备，最终在语音合成器的帮助下实现发声，转换设备由此辅助霍金和外界沟通。

“眼动追踪是一种通过记录被试者眼睛的位置和运动来跟踪被试者视线落点，并分析其视觉行为的人机交互技术方法，即用目光控制机器。看似和BCI进行书写的技术有点像，其实二者有着本质的区别。”许敏鹏解释，BCI需要检测大脑的神经活动信号并将受试者的意图解析为实际的控制指令，简单来说，就是实现用脑电控制机器；而眼动仪主要是对受试者眼睛的运动和位置进行追踪，并计算出受试者视线落点的位置，以此来判断受试者实际意图。

“眼动仪会受到器材位置的局限性影响，而BCI就不会存在这个问题。但目前脑信息采集还是需要受试者主动配合，甚至为了准确性需要先进行一定量的训练。”许敏鹏举例，如在利用BCI写福字时，受试者眼睛要盯着屏幕上的视图书写板，确定字的笔画起点和终点，然后连线写出一笔。如果没有经过训练，这个字写出来可能不会很工整。

“在实际应用时，大脑很长时间都会处于一个非任务状态。我们使用BCI系统的时候，理想的使用状态是我们在需要将意图付诸实践时BCI开关开启，而在非任务即无意识的想法状态时，BCI开关关闭（不输出响应）。”许敏鹏表示，解决这个问题，就需要BCI的一个实用化形式——异步脑机接口。这种BCI就是通过对大脑信息的实时采集分析，分辨想要付诸实践的意图和无意识的想法，只有当检测出用户有想要付诸实践的意图时才会开启BCI开关，这在很大程度上增加了BCI系统的实用性。

BCI技术的应用开拓了人机交互新天地

“侵入式BCI具有较高的信噪比和良好的时间、空间分辨率，马斯克最新发布的‘LINKV0.9’就属于侵入式BCI技术。”许敏鹏表示，但侵入式BCI需要研发具有高灵敏度和高稳定性的电极阵列，以记录目标神经元集群的信号，同时最小化环境干扰。另一方面，电极材料、结构等的选择与设计，长期记录电极性能的评价，植入点周围微环境的变化等方面因素也是阻碍侵入式BCI发展的难题。

比如，在斯坦福大学这项最新的“意念写字”研究中，研究人员就担心其大脑中植入的电极阵列会由于微小的移动以及疤痕的形成，对读取神经信号的效果有所影响，因此必须要定期重新校准。同时，系统的“寿命、安全性和有效性”还有待进一步证明。

我国的非侵入式BCI研究在脑机编解码关键技术、BCI系统与应用方面都有较好的基础，达到并跑世界先进水平，部分技术成果领先国际先进水平。“但由于大脑皮层活动产生的神经电信号穿过颅骨等组织层后，信号质量大大削弱，并损失了大量有关大脑皮层神经电活动信号源的时空分布信息。”许敏鹏介绍，“所以非侵入式BCI的一个重大难点是要从噪声大、含有有限信息的信号中，实现有效的特征提取和模式识别。”此外，另一个难点是如何在保证足够小的设计尺寸下，将脑电刺激编码、信号采集、信号传输以及信号解码等多种功能模块进行高度集成，以满足实际场景下的使用需求。

虽然还有许多需要解决的技术难题，但是BCI技术在医疗、军事、工业等领域都有广阔的应用前景，开拓了前所未有的人机交互新天地。

许敏鹏举例，目前这项技术在航天等领域有巨大的应用价值，能为航天员等特殊人群提供肢体约束环境下的“第三只手”和神经功能层面融合的自适应自动化人机协作，帮助他们完成更多更复杂的工作任务。2016年，在我国天宫二号与神舟十一号载人飞行任务中，天津大学团队与中国航天员科研训练中心合作开展了国际首次在轨脑机交互实验，充分验证了BCI技术的在轨适用性，对未来深入开展人—智能机器人联合深空探测起到了关键推动作用。

脑控无人机技术还可以广泛应用在军事领域，可用于室内搜索、战场巡查、异常监控等场景。以脑控无人机系统为例，当前的脑控无人机系统可以移植到VR或者AR平台上，由此可摆脱屏幕的限制，单兵作战时，士兵可佩戴VR或AR眼镜，通过AR显示混合现实SSVEP刺激界面，在控制无人机的同时，观察周围环境，与此同时还可手持武器，保证自身的安全。

“终有一天，脑机接口技术将颠覆我们现有的人机交互方式。人与人之间的交流不仅仅停留在语音或者文字上，还可以通过心灵。”许敏鹏乐观地表示，“也许几年后，BCI装置就会像消费电子品一样进入到我们的现实生活中。我们可以把它戴在头上，与手机相连，控制接听电话、打字等，也可以和家里的智能家电相连，比如开关灯，开带有密码锁的门，控制电视和空调等。当然还有很多技术问题需要解决，我们正在努力攻关中。”