【WRC • 前沿】恢复沟通、重塑触觉、双向接口，脑机接口爆发可期
脑机接口旨在通过直接从大脑信号中实时解码用户意图来为辅助设备提供丰富、强大的命令信号。近年来，脑机接口技术的理论和实际应用的研究进展迅速，技术日趋成熟，其应用领域也在不断扩大。本文概述了2019—2020年脑机接口领域在硬件、算法、范式、应用等方面取得的重要研究进展和发生的热点事件，展望了未来脑机接口技术的发展趋势。脑机接口（brain-computer interface，BCI）技术通过检测用户意图直接控制外部设备，从而为恢复感觉和运动功能以及治疗神经系统疾病开启了一扇全新的大门。
尽管侵入式和非侵入式脑机接口系统在可实现任务复杂性方面有所不同，但两类脑机接口都能成功展现出辅助恢复肢体功能的能力，包括独立行走、手的功能操作以及语言交流。近年来，脑机接口技术不断取得突破，也带动了产业界的进一步投入。例如，Elon Musk的脑机接口技术公司Neuralink于2019年发布了脑机接口植入机器人。2019年，Facebook斥资10亿美元收购脑机接口公司CTRL-labs。在2019亚洲消费电子展（CES Asia 2019）上，日产汽车展示了解读大脑信号的脑控车（Brain-to-Vehicle）技术。而在2020年5月，华米科技和中国科学技术大学先进技术研究院共同建立了“脑机智能联合实验室”，展示了国内企业对这一技术的关注。接下来，本文将从应用系统实现、关键技术发展和未来发展趋势等方面回顾2019—2020年的脑机接口领域的前沿进展。◆ ◆ ◆ 应用系统实现：交流与控制
1沟通交流
语音解码类脑机接口技术能够将神经活动直接转换为语音信号，它对由于神经功能障碍而无法正常交流的群体具有革命性的意义。
2019年4月，加州大学旧金山分校的研究团队基于脑机接口技术设计了一种新型的神经解码器，该解码器能够通过提取大脑皮层活动对发声器官的运动情况来实现语音的合成（图1）。
图1 通过皮层脑电合成语音
不仅如此，研究者进一步发现，即便是在受试者“默读”，即在不发出声音的情况下读出句子时，这样的解码方法也能够实现语音的合成，表明该系统有望潜在应用于不能发出声音的人。这些研究成果展现出通过脑机接口技术帮助患者恢复口语交流能力的临床可行性，并发表在《Nature》上。随后的2019年7月，该研究团队在同样的实验系统上展示了基于高密度ECoG信号的模拟自然问答对话系统（图2）。利用在对话中记录下的脑信号，能够确定受试者何时在听、何时在说，并且能够预测所听或所说的是什么。
图2 问（蓝）和答（红）过程的实时语音解码示意由于特定的问题只可能对应特定的答案，所以在这一系统中，研究者根据解码后的问题来动态更新答案的先验概率，从而实现了更为准确的回答内容解码。该系统对于生成语音和感知语音的解码准确率分别高达61%和76%。这一成果阐明脑机接口技术可以在交互式对话环境中实时解码语音，对于无法交流的患者具有重要意义。该工作发表在《Nature Communications》上。2020年3月，加州大学旧金山分校的研究团队利用受试者朗读文本时收集的ECoG信号，成功训练了一个可以将ECoG信号端到端“翻译”为连续文字的深度循环神经网络模型（图3）。
图3 将皮层脑电转录成文本通过在侧裂周围区植入电极并采集ECoG信号，该研究可以实现对受试者当前朗读句子的识别。4位病人颅内脑电解读错误率最低可以达到3%。该研究成果发表在《Nature Neuroscience》上。除了上述提及的利用侵入式脑机接口实现语言交流功能外，非侵入式脑机接口在恢复交流功能方面也展现出较大的潜力。2019年4月7日，中央电视台的《挑战不可能》节目中，清华大学研究团队展示了一套脑机接口打字输入系统。在这套系统的帮助下，全身只有眼球和嘴角可以活动的渐冻人王甲成功实现诗句拼写，并完成了与董卿评委的“合诵”。这套系统展示了脑机接口系统在帮助渐冻症群体重拾交流能力的潜力。
2触觉和运动恢复
除了帮助患者恢复交流能力之外，脑机接口的另一项经典应用场景则是帮助运动障碍群体，从而实现运动功能的恢复。
在美国巴特尔纪念研究所及合作研究团队报道的研究中，基于脑机接口技术，一名脊髓损伤患者利用其手部残存的触摸信号实现了触觉和运动功能的同时恢复（图4）。
图4 同时恢复运动与触觉功能的脑机接口系统
在这项研究中，脑机接口系统从初级运动皮层活动反映的运动意图中提取出患者残余的、无法被患者知觉感知的手部触觉信号，并将该信号进行增强后反馈给患者，从而实现皮层内控制的闭环感觉反馈，并可以通过触摸信号调节握力。在这样一套闭环反馈的脑机接口帮助下，进行康复训练后患者几乎完全恢复了感知物体触摸的能力，多种感觉运动功能也得到了显著改善。这些结果表明，脑机接口可以从大脑皮层采集低于知觉反应范围的神经信号，并将其转换为有意识的知觉，从而显著增强功能。这项工作展示了首个同时恢复运动与触觉功能的脑机接口系统，并在《Cell》上发表。
3运动控制
法国格勒诺布尔大学及合作研究团队报道了一项脑控外骨骼的研究成果。一名四肢瘫痪患者在一款处于实验室测试阶段的大脑控制外骨骼系统帮助下实现了再次行走。
研究人员在他的大脑的上肢感觉运动区域植入了两个双侧无线硬膜外记录仪，以获取硬膜外ECoG信号。获取的ECoG信号通过自适应解码算法在线处理，以将命令发送至效应器（虚拟化身或外骨骼）。两年间，病人在家中利用虚拟化身模拟行走，并在不同的触控任务和手腕旋转过程中，以八自由度的方式进行双侧、多关节、上肢的运动，成功率为64.0%；在实验室的外骨骼中的成功率为70.9%。这项工作首次成功验证了长期使用无线硬膜外多通道记录仪的可能，且首次将人类长期临床应用所需的所有技术要素（硬脑膜记录、无线供电和发射、多通道ECoG信号的在线解码以及完全嵌入）进行了组合。与微电极阵列相比，硬膜外ECoG侵入性较小，而效果相似，展示了较强的实际应用潜力。该工作发表在《The Lancet Neurology》上。而2020年1月，浙江大学研究团队也实现了国内第一例植入式脑机接口临床研究。在植入电极后，患者可以利用大脑运动皮层信号精准控制外部机械臂与机械手实现三维空间的运动，首次证明高龄患者利用植入式脑机接口进行复杂而有效的运动控制的可行性。来自卡耐基梅隆大学和明尼苏达大学的研究人员则为脑机接口的机械臂控制提出了非侵入的解决方案。基于头皮脑电，研究者可以控制机械臂，实现对连续随机运动目标的实时跟踪（图5）。
图5 用于连续随机目标跟踪的脑机接口控制机械臂系统
该技术通过连续的追踪任务和相关的训练范式增加用户的参与度，显著改善了基于脑电的神经解码效率，并且能够允许用户对机械臂实现高分辨率控制。该技术可以帮助用户通过脑机接口系统实现对计算机光标的连续跟踪和跟随。在该研究成果中，研究人员将计算机光标的连续跟踪提高了500%以上，解决了机械臂跟随光标的流畅度问题，同时结合在线无创神经成像，将脑机接口的控制水平提升了近10%。研究人员将该技术应用于现实任务中，发现从控制不受约束的虚拟光标运动到控制机械臂运动，该技术几乎可以做到完美过渡。这种高质量的神经解码能力与非侵入式机械臂控制的实际应用相结合，将对利用非侵入式脑机接口开发和实现神经机器人技术产生重大影响。目前这项技术已经在68名健康受试者身上进行了测试，该团队还将对患者进行临床试验。这项研究代表了无创脑机接口技术发展的重要一步，有望成为如智能手机一样帮助每个人的辅助技术。该研究成果发表在《Science Robotics》上。◆ ◆ ◆ 关键技术进展：新硬件、新算法、新范式、新应用
1新硬件
脑机接口的硬件主要涉及电极和信号采集系统。对于侵入式脑机接口而言，需要具有生物相容性、安全性和长期植入的材料特性的电极；
而非侵入式脑机接口则倾向于舒适、便携的信号获取方式。脑机接口硬件的创新将极大地推动脑机接口技术的实用化、产品化。2019年7月，Elon Musk的Neuralink公司发布了一款可扩展的高带宽脑机接口系统。该系统包含小而灵活的电极“线”阵列，每个阵列多达96根线，每根线带有32个电极，共分布了多达3072个电极。该系统还包含一个神经外科手术机器人，该机器人每分钟可以插入六根线（即192个电极）。每根线可以以微米级的精度单独插入特定大脑靶区中，以避免表面血管。电极阵列被封装在一个小的可植入设备中，该设备包含用于低功耗板上放大和数字化的定制芯片，3072个通道封装所占面积小于23 mm×18.5 mm×2 mm（图6）。一根USB-C电缆可提供设备的全带宽数据流传输，并同时记录记录所有通道的数据。
图6 植入大鼠的传感器设置相较于传统的实验室中所设计的样机往往较为简陋，未实现工程上的充分优化，Neuralink提出的这一套高度集成化、自动化的脑机接口系统展示了工业界的关注对脑机接口实用化进程的重大意义。日本熊本大学和山口大学的研究团队将近红外光谱、皮层脑电和负温度系数热敏电阻传感器的多通道测量功能集成到单个设备中。该设备使用柔性印刷电路技术和半导体微制造技术进行制造和组装，以实现与硬膜下植入兼容的传感器组件的高密度集成，并且具有类似于神经外科手术中硬膜下条状电极的紧凑外形，可以提供有关大脑皮层活动各个方面的有益信息，并被证明是术前、术中和术后诊断的有力医学手段。除了上述提及的有创脑信号获取方法外，在无创脑信号获取硬件方法也取得了进展。
英国诺丁汉大学及合作研究团队开发了一种基于自行车头盔改造且完全符合生命周期的可穿戴脑磁系统，该系统能够为所有年龄段的受试者提供高保真数据，且无需限制受试者的活动（图7）。
图7 装在经过改装的自行车头盔中的光泵磁力仪测量脑磁信号因此可以使用单一系统测量儿童、青少年和成人在外部环境中大脑如何做出反应并适应自然事件的能力，有望提供有关早期生命中枢神经系统功能发育的机制性见解。这项工作揭示了一种功能成像的新方法，为研究健康和疾病中的神经发育提供一个强大的平台。实现舒适、便携的信号获取方式是推广非侵入式脑机接口系统的重要前提。
佐治亚理工学院及合作研究团队报道了一个完全便携式、无线、灵活的头皮电子系统，其中包括一组干电极和一个柔性膜电路（图8）。利用卷积神经网络进行时域分析可对稳态视觉诱发电位进行准确、实时地分类。
图8 具有完全便携式和无线的头皮电子设备
相比于商用系统，柔性电子产品因显著降低噪声和电磁干扰能够提高诱发电位检测性能。两通道的头皮电子系统获得了122.1 bit/min的信息传输率，允许对电动轮椅、电动汽车和无键盘演示进行无线、实时和通用的脑电控制。丹麦奥尔胡斯大学及合作研究团队开发了一种基于干式接触电极的外耳道脑电采集系统，该系统包括嵌入个性化软耳件中的主动屏蔽和纳米结构电极。通过12名受试者和听觉稳态响应、稳态视觉诱发电位、失匹配负波、alpha调制四种范式的验证，所开发系统的性能与靠近耳朵的头皮脑电图性能相当。清华大学及合作研究团队开发了一种高成本效率、易于制造、灵活、鲁棒且无凝胶的银纳米线/聚乙稀醇缩丁醛/三聚氰胺海绵的脑电电极。由于银纳米线的表面金属化，海绵具有高电导率，而重量却保持不变。柔软的海绵架构和自锁式银纳米线结合在一起，为电极提供了卓越的机械稳定性和绕过头发的能力。利用该电极放置在无毛皮肤时，所构建的稳态视觉诱发电位脑-机接口的性能与导电膏支持的常规电极的脑机接口性能相当。尤为重要的是，该电极在毛发区的性能并未显著降低。这一成果显示出该新型电极有望替代脑电采集的常规电极。另外，脑电数据处理芯片化有望为脑机接口技术走向民用化、便携化、可穿戴化及简单易用化开辟道路。2019年，天津大学和中国电子信息产业集团在第三届世界智能大会上发布了脑机接口专用芯片“脑语者”。
2新算法
对于侵入式脑机接口而言，脑机接口技术临床应用的关键障碍是植入皮层电极所记录的神经活动会随时间变化。而神经记录的不稳定性会导致临床脑机接口无法控制。
卡内基梅隆大学及合作研究团队利用低维神经流形（即描述神经元之间特定相关模式的低维空间）的对齐，开发了一种基于流形的神经信号稳定器，以实现脑机接口信号的稳定输入，从而在神经记录不稳定时依旧能够维持脑机接口性能。斯坦福大学及合作研究团队提出了一种时间约束的稀疏组空间模式（temporally constrained sparse group spatial patterns），通过同时优化共空间模式中滤波器频带和时间窗长，实现进一步提高想象运动脑机接口的性能。英国埃塞克斯大学及合作研究团队提出了一种用于脑机音乐接口（brain computer music interface，BCMI）的个性化情感状态检测方法。相比于基于群体的检测方法（population-based detection method），个性化情感状态检测方法的正确率更高，情感效价和唤醒度的平均正确率分别提高了10.2%和9.3%。韩国高丽大学和新加坡南洋理工大学的研究团队提出了一种基于受试者的分段频谱滤波（subject-dependent and section-wise spectral filtering，SSSF）方法，旨在从预处理技术（即频谱滤波）的角度提高运动相关皮层电位（movement-related cortical potential，MRCP）的解码性能。该方法考虑了两个不同的时间段的受试者个性化MRCP频谱频率特征，对单试次MRCP检测实现了0.86的平均解码性能，验证了所提出的SSSF方法比常规方法可以包含更多有意义的MRCP信息。华中科技大学的研究团队提出了一种新颖的流形嵌入知识迁移（manifold embedded knowledge transfer，MEKT）方法。该方法首先在黎曼流形中对齐EEG试次的协方差矩阵，提取切线空间中的特征；然后通过最小化源域和目标域之间的联合概率分布偏移来实现域自适应，同时保留其几何结构。该方法可以处理一个或多个源域，并且可以高效地进行计算。针对于大量源域的情况，该团队还提出了域迁移性估计（domain transferability estimation，DTE）方法，以识别最有利的源域。对来自两个不同BCI范式的四个脑电数据集进行的实验表明，MEKT优于几种最先进的转移学习方法，并且当源受试者的数量很大时，DTE可以减少一半以上的计算成本，而几乎不会牺牲分类精度。法国Aramis project-team及合作研究团队提出了一种融合方法，该方法能够整合来自同步脑电和脑磁信号的信息，以提高基于运动想象脑机接口的分类性能。该方法的核心在于能够自动加权每种模态的贡献，以优化性能。与单模态方法相比，基于脑电和脑磁的多模态信息能够显著提高脑机接口的分类性能。
3新范式
斯坦福大学及合作研究团队利用神经元记录在四肢瘫痪患者上研究了面部、头部、手臂和腿部运动如何在前运动皮层“手结区”中表征。他们发现上述所有运动在“手结区”均具有较好的表征，并且存在着将四肢联系起来的神经编码。这种联系可能有助于大脑将其某一肢体学会的技能转移至另一肢体中。
基于上述发现，该研究团队设计一个脑机接口系统，能够利用“手结区”的信号精确地解码四肢的运动。先前研究者往往认为要控制身体的不同部位就需要在大脑的多个区域植入电极，而这一研究成果展示只在一个区域放置植入电极，就可能实现全身的运动控制，这一成果将大大拓宽颅内脑机接口的应用空间。匹兹堡大学的研究团队提出了一种基于运动想象的混合脑机接口，它利用脑电图记录脑电活动以及利用功能性经颅多普勒超声（functional transcranial Doppler ultrasound ，fTCD）测量脑血流速度。研究人员计算了来自EEG和fTCD信号的功率谱特征，并利用互信息和线性支持向量机进行特征选择和分类。与现有的基于EEG和fNIRS的混合脑机接口相比，所构建的系统能够以较短的任务持续时间实现相似或更高的准确率。多伦多大学及合作研究团队利用近红外光谱成像技术实现了在线三分类想象言语（imagined speech）脑机接口。用户可以通过隐式默念短语“是”或“否”来直接回答是或否问题，该脑机接口还能识别无限制休息状态，从而构成了三个可识别的任务。在最后三组在线实验中，所有受试者的平均在线分类正确率达64.1%。研究结果表明，想象言语可以用作选定用户的可靠激活任务，以开发更为直观的脑机接口。对于想象运动脑机接口的设计，想象运动期间的动作观察（action observation，AO）有助于检测用户的运动意图。东京农工大学的研究团队研究了动作观察的目标对象（即参与者或其他人的手）是否影响想象运动时的大脑活动。研究人员发现，想象运动期间动作观察来自于受试者自己的手（MI+ownAO）所诱发的感觉运动区alpha节律的事件相关去同步强于仅想象运动（MI）和想象运动期间动作观察来自于其他人的手（MI+otherAO）两种情况。研究人员建议在具有动作观察的闭环脑机接口设计中应该使用用户自己肢体的视频。
4新应用
脑机接口技术除了在恢复感觉和运动功能以及治疗神经系统疾病等方面可以发挥作用，也已经开始在其他领域发挥价值。唤醒程度会影响个体的决策、判断与行为。Yerkes-Dodson定律指出唤醒程度与任务执行之间的关系是倒U形曲线关系，存在一种对于特定任务的行为执行最佳的唤醒状态。来自哥伦比亚大学的研究团队验证了可以使用基于脑电的反馈来改变个体的唤醒程度，从而使他们的任务表现显著提高。这项工作展示了一个闭环的脑机接口，该系统基于脑电信号解码器输出的听觉反馈信号，动态地调整个体在执行boundary-avoidance任务时的唤醒程度，并根据Yerkes-Dodson定律提高任务执行效率。该方法有望应用于不同的任务或用于将自我调节作为目标治疗的临床应用。来自俄罗斯Neurobotics和莫斯科物理技术学院的研究团队介绍了另外一种新颖的闭环脑机接口系统。该系统可利用受试者的脑电特征实时重建受试者观察到的或想象的刺激图像，并将重建的图像作为视觉反馈呈现给受试者。所提出的技术可以通过将原始刺激替换为受试者的意念驱动图像重建模型，从而有望用于训练脑机接口的新用户。脑活动除了可以反映个体的意图和状态，也可以体现个体的特质。2019年，中国科学院半导体研究所的研究团队利用编码调制的视觉诱发电位，实现了一套个体身份识别系统。该系统在25名受试者的个体内和跨个体识别中均获得了较高的正确识别率。在个体内情况，使用5.25 s脑电数据可获得100%的最佳识别性能；在跨个体情况，使用10.5 s脑电数据可获得99.43%的个体区分效果。该方法有望为个体身份识别提供基于脑电的解决方案。脑机接口也为沉浸式虚拟现实环境中的通信和控制提供了潜在的工具。中国科学院半导体研究所和清华大学的研究团队利用room-scale 虚拟现实头盔开发一个便携式稳态视觉诱发电位脑机接口。通过解决虚拟现实中刺激呈现和基于移动脑电信号进行目标识别的问题，验证了脑机接口在移动虚拟现实环境中的应用潜力，并为利用移动虚拟现实系统开发实用脑机接口提供了实验和方法的指导。而中国医学科学院生物医学工程研究所及合作研究团队则将脑机接口技术引入数字符号转换测试（digit symbol substitution test，DSST）领域，构建了基于稳态视觉诱发电位脑机接口的数字符号转换测试系统。◆ ◆ ◆ 发展趋势与展望
1 高性能脑机接口
尽管近年来脑机接口在性能上获得了较大的提高，但相比于自然的人机交互，目前脑机接口的通信速率仍较低，需进一步大幅提高。
图9显示了各种模态的通信速率。与其他人机交互方法相比，低通信速率仍然是目前限制脑机接口应用的最大障碍。通过脑信号解码技术大幅提高脑机接口的通信速率，在大脑与机器之间建立高效的信息交流通道，是实现高性能脑机接口的关键。
图9 各种模态下通信速率的比较
目前，如何使用先进的算法与大脑进行交互已经引起脑机接口研究者的广泛关注。在这方面，机器学习和量子计算等新工具将有助于脑机接口成为现实。而大规模、高质量的数据集则有助于推动解码算法的发展。清华大学研究团队发布了基于稳态视觉诱发电位的脑机接口的BETA数据集（BEnchmark database toward application）。该研究具有领域内迄今为止规模最大、测试基准算法最全等特色，为个体水平的脑机接口性能评估梳理了信噪比与信息传输率的关系，为群体水平的脑机接口性能刻画提出了脑机接口商（BCI quotient）的新指标。该研究为今后面向真实场景应用的脑-机接口范式研究、算法开发提供了测试平台，为大数据和人工智能趋势下的新方法、新系统研究做好了数据支撑。同时，世界机器人大赛-BCI脑控机器人大赛的平台也极大地推动了国内脑机接口的算法水平。在2019世界机器人大赛-BCI脑控机器人大赛暨第三届中国脑机接口比赛现场，实现了691.55 bit/min的理想信息传输速率，创造了历届世界机器人大会脑控打字最高纪录（图10）。
图10 2019世界机器人大赛-BCI脑控机器人大赛现场
脑机接口技术的发展离不开领域内学者的共同努力，期待着后续更多跨研究组、跨高校的通力合作。
2双向脑机接口
在脑机交互中，信息可以在两个方向上传播：“从脑到机”（将脑信号转换成意图运动指令）或“从机到脑”（将与外部环境交互的设备捕获的感觉信息传递至大脑）。目前脑机接口领域的研究仍以“从脑到机”为主，如在机械臂触碰到物体后，受试者只能通过视觉来了解控制的结果。
近年来，神经调控技术的发展为“从机到脑”提供了可能。调节神经活动将是下一代脑机接口的重要组成部分，例如，为神经修复运动控制提供触觉。匹兹堡大学及合作研究团队展示了通过体感皮层的皮层内微电刺激（intracortical microstimulation）来恢复触觉感知反馈，使得具有双向脑机接口的受试者能够改善其在由神经控制的假肢完成的功能性物体运输任务中的性能（图11）。
图11 双向脑机接口系统
受试者在视觉反馈的基础之上，结合微电刺激诱发的触觉感知，能够更快的完成任务。这些结果验证了触觉在上肢控制中的重要性以及利用皮层内微电刺激恢复信息流以创建双向脑机接口的效用。
3信息安全
近年来，与健康相关的物联网设备越来越流行。一方面，用户可以方便了解自身的健康状况信息；另一方面，这些信息也面临新的安全风险。
乔治·华盛顿大学及合作研究团队研究了家用脑电系统的安全性，发现NeuroSky App store中的156个脑机接口应用程序都容易受到近程攻击，而且31个免费应用程序都容易受到至少一种远程攻击的攻击。此外，该团队提出了一种联合循环卷积神经网络的深度学习模型，能够从NeuroSky脑电设备中窃取的精简特征的脑电数据推测用户活动，且推测精度可达70.55%。考虑到脑活动的高度私密性和重要性，在实现脑机接口应用的过程中，如何对脑活动数据进行有效安全的管理并制定相关标准规范是当下科研界和产业界都必须深入思考的关键一环。
◆ ◆ ◆结论
2019—2020年，脑机接口技术在理论分析、硬件实现、算法改进、场景应用等方面均取得了阶段性的研究进展，对推动脑机接口技术的发展起到了重要的作用。
目前脑机接口仍主要局限于复杂的实验室环境。对于侵入式脑机接口而言，目前仍面临着人体排异反应及颅骨向外传输信息会减损这两大问题；非侵入式脑机接口技术则朝小型化、便携化、可穿戴化及简单易用化方向发展，非侵入式的技术在应用方面更有优势。随着神经科学、神经接口和机器学习技术的进步，脑机接口领域正在迅速扩展。尽管目前而言，脑机接口技术仍未达到自然交互的沟通速度和准确性，但是，随着各国对这项技术越来越重视，相信脑机接口技术的爆发未来可期。
（来源：科技导报公众号）
