基于镜像虚拟和Skinner强化学习的个性化MI-EEG训练与采集方法

技术领域

本发明属于脑电信号采集技术领域，具体涉及脑-机接口(Brain-ComputerInterface,BCI) 系统中对运动想象脑电信号的训练及采集方法，将镜像疗法和Skinner强化学习理论融合到运 动想象脑电信号的采集过程当中。

背景技术

随着人工智能与模式识别技术的不断发展，脑-机接口逐渐从科幻电影走进人们的生活， 同时，镜像疗法、虚拟现实技术、运动想象疗法作为新兴的康复干预手段越来越倍受重视。 通过虚拟现实场景以及动画效果作用于受试者神经中枢，以实现对受损神经中枢的主被动协 同刺激，激发大脑运动区镜像神经元，强化自主运动意图。

然而在BCI的研究领域中，研究多注重于脑电采集设备的创新、脑电处理算法的优化等 方面，如无固定接触式脑电采集系统、佩戴式脑电采集装置和一些能够有效提取脑电信号特 征并识别的算法等。这些研究多以对脑电采集的硬件实现的等客观因素的改善为主，鲜少地 考虑到脑电信号采集过程中的主观因素，如受试者的个人兴趣爱好，参与的积极性等，在脑 电信号的采集过程中，受试者的生理和心理作用直接影响着大脑神经元的兴奋程度，这对于 本身比较微弱的脑电信号来说是不可忽视的。大量的实验表明，人脑中镜像神经元的存在使 得在观察他人动作时，参与自己主动执行该动作的部分相关脑区会产生相似的兴奋。而当动 作发生在不同的背景中，其行为意图不同时，镜像神经元的兴奋状况也有所不同。

基于视觉刺激的镜像疗法(MirrorTherapy,MT)由Ramachandran在1994年提出，涉及动 作观察、运动想象、模仿学习等诸多过程，同时也是一种双侧训练，通过幻象提高患手的存 在意识有助于减轻“习得性废用”。通过这种方法，受试者活动的健肢的成像会让他以为是患 肢的活动。该方法操作简单，成本低，副作用小，值得推广应用，特别是用于受试者的自主 练习。已有不少证据表明，镜像疗法在提高运动功能方面疗效较好。

运动想象是个体想象自己在执行或观察特定动作而不产生任何运动或肌肉收缩的认知过 程。大量脑成像研究显示，在大脑的运动前皮层，想象一个动作时激活的脑区与执行该动作 时兴奋的脑区大量重叠，说明该脑区中包含镜像神经元环路，一系列在运动员、音乐家、舞 蹈家及脑卒中受试者身上进行的实验证明，运动想象可促进运动学习并兴奋相关脑区。

运动想象疗法借助想象来改善运动能力；镜像疗法综合了观察、想象和模仿进程；虚拟 现实疗法在虚拟情境中进行动作的观察、想象、模仿和学习；而脑-机接口技术则利用运动想 象等生理过程中产生的神经生理学信号(如脑电波)来进行运动功能重建。由于运动想象脑电 信号具有事件相关同步和事件相关同步去同步这一生理现象，因此可有效提取运动想象脑电 信号的特征作为控制信号应用于脑-机接口技术中。然而在现有的运动想象脑电采集过程中， 脑电采集提示方式一般多用提示音加与简单的提示符或图片相结合，如提示想象左手运动时， 提示符为向左的箭头，对受试者的视觉刺激微弱且采集过程比较单调枯燥，实验形式和实验 内容对受试者的吸引力都比较小，采集到的运动想象脑电信号不强且提取的特征不明显导致 不易区分。因此，需要发明一种趣味性强且能够有效激发受试者大脑相应区域神经元活动的 脑电采集方法，从脑电信号的产生源增强脑电信号的强度和准确性。

发明内容

本发明提供了一种基于镜像虚拟和Skinner强化学习的个性化MI-EEG训练与采集方法， 目的是在采集运动想象任务下的脑电信号时，将镜像疗法引入到脑电采集系统设计中，同 时增加了个性化的视听联合刺激与诱导，增强脑电采集的趣味性和镜像神经元的兴奋程度， 从脑电信号产生源头提高脑电信号的采集质量。而基于Skinner强化学习理论的脑电闭环采 集与控制模块可用于检验脑电训练和采集的效果，以增强受试者对患侧手康复的信心。为 此，本发明采用以下方案：

基于镜像虚拟和Skinner强化学习的个性化MI-EEG训练与采集方法，包括以下三个部分， 如图1所示：个性化视听联合刺激与诱导下的运动想象脑电训练模式、基于镜像虚拟的运动 想象脑电信号的采集模式以及基于Skinner强化学习理论的闭环脑电采集与控制模式。其中：

第一部分，个性化视听联合刺激与诱导下的运动想象脑电训练模式

个性化视听联合刺激与诱导下的运动想象脑电训练主要包括以下5个子步骤，(1)自由选 择音乐与物体；(2)健侧手佩戴数据手套并执行张/握动作；(3)实时采集健侧手部弯曲程度的 数据；(4)对采集到的数据手套数据进行分析处理；(5)判断健侧手部的运动状态并钳制镜像 虚拟患侧手动作。通过以上步骤在营造的环境模式中，实现用佩戴数据手套的健侧手来钳制 系统中的由三维重构的镜像虚拟患侧手，进而进行抓握所喜好的物体，通过视觉和听觉的联 合刺激来激发并增强运动想象脑电信号，脑电训练的次数自由设定，具体执行流程如图2所 示。

(1)在脑电采集系统界面中选择个性化视听联合刺激与诱导下的运动想象脑电训练模式 时，自由选择合适的背景音乐进行播放，诱发与增强大脑中的α波(学习与思考的最佳脑波状 态，范围8-13HZ)促进大脑内啡肽的分泌，使大脑进入最活跃的状态，让学习、记忆得充分 的施展，从而提高大脑的效率。同时，选择训练模式下用于镜像的虚拟患侧手抓握的物体， 以增强视觉和心理因素的诱导。

(2)健侧手佩戴数据手套并执行张开和抓握的动作，则分布在数据手套每根手指上的柔性 应变传感器将各手指的弯曲程度转换为数字信号。

(3)利用计算机串口通讯方法，实时采集健侧手部弯曲程度的数据。未经任何处理的数据 手套发送的初始数据为一串字符串，包含每根手指对应的柔性应变传感器的输出值，并将其 展示到界面中。

(4)对采集到的数据手套发送出的字符串数据进行分解和进制转换，获得表征每根手指动 作状态和幅度的数据，并相应地传递给三维镜像虚拟患侧手模型，再利用这些数据钳制虚拟 患侧手部动作的幅度，作为视觉刺激，营造沉浸感和交互性，并产生镜像虚拟手的虚拟模拟。

(5)根据对数据手套数据分离处理的结果判断健侧手部的运动状态。当健侧手张开时，根 据喜好选定的物体逐渐增大，镜像的虚拟患侧手张开；当健侧手抓握时，根据喜好选定的物 体逐渐缩小，镜像的虚拟患侧手抓握。从而营造患手能够进行正常抓握运动的虚拟模拟。根 据镜像神经元的动作模仿学习机理，这将有利于充分调动运动想象的内动机。当训练次数达 到设定的次数时结束脑电训练，未达到预设的训练次数时重复步骤(2)到(5)。

第二部分，基于镜像虚拟的运动想象脑电信号采集模式

选择系统中该部分时，将开启脑电采集界面提示系统，设计脑电采集实验时序图如图4 所示。第1～2秒时间内计算机屏幕上出现“+”光标提示脑电采集实验开始。第2～3秒时间内出 现文字提示“张开”或“抓握”，并伴有相应的语音提示，并根据任务提示进行相应的运动想象。 在第3～8秒的时间段内播放虚拟患侧手部动画视频增强对受试者镜像神经元的刺激，引导执 行患侧手部的运动想象任务，用脑电采集设备实时采集3.5～7.5秒内的运动想象脑电信号。第 8～10秒的时间内进行休息，准备进入下一次采集实验，采集脑电信号的实验次数可根据需要 设定。

第三部分，基于Skinner强化学习理论的闭环脑电采集与控制模式

闭环脑电采集与控制模式主要流程如图5所示。在该模式下通过佩戴的脑电采集装置采 集想象患侧手部张/握动作的脑电信号，并实时地对脑电信号进行特征提取与分类。在该BCI 控制系统中，首先将机械设备的动作方式和运动想象脑电信号的任务通过程序进行匹配。脑 电信号的分类结果出来后，计算机程序再将分类结果转化为控制信号并传输给外部机械设备， 外部设备接收控制信号后执行相应的动作。最后根据机械设备执行的运动任务与受试者运动 想象意图的匹配度进行在线奖励与反馈，使其不断强化学习和及时修正行为，增强运动想象 脑电信号的激励强度与主动康复意愿和对机械设备控制的信心，以免对脑电增强训练产生疲 乏感。

与现有脑电采集提示方法相比，本发明有以下优点：

(1)本发明在脑电采集系统中融入了脑电训练模式，可以在采集脑电信号之前通过趣味训练 提高受试者参与的主动性，并且训练过程中利用镜像疗法，可以更好地激活大脑相应运动 区域的镜像神经元，增加神经元的活跃程度，从脑电信号的产生源头提高脑电信号的质量。

(2)本发明设计的训练方式操作简便，没有繁琐的学习过程，适用人群更广，并引入个性化 元素，如个人喜好的音乐以及物品，可使得主动康复意愿增强并尽可能多地活动患手,将看 到的镜像虚拟手想象成自己的患手，利用“幻象”提供的视觉反馈，让大脑“误以为”在同时控 制双手，从而激活支配患手的运动神经元，促进脑功能重组。

(3)本发明在脑电采集的时序过程中增加了镜像的虚拟患侧手动作视频，在脑电测采集过程 中给与受试者持续的视觉刺激，以促使受试者集中注意力进而增强想象患侧手运动脑电信 号的强度。

(4)本发明在闭环脑电采集与控制模式中引入Skinner强化学习理论，进行在线奖励与反馈， 使受试者不断强化学习和及时修正行为，增强运动想象脑电信号的激励强度并可作为检验 脑电信号训练和采集效果的手段，给予直观的反馈。

附图说明

图1为本发明中的系统基本构成示意图；

图2为本发明中的个性化视听联合刺激与诱导下的运动想象脑电训练流程图；

图3为本发明中数据手套传送的数据包格式图；

图4为本发明中设计的脑电采集实验时序图；

图5为本发明中基于Skinner强化学习理论的闭环脑电采集与控制流程图

具体实施方式

基于镜像虚拟和Skinner强化学习的个性化MI-EEG训练与采集方法包括以下几个步骤：

步骤1，个性化视听联合刺激与诱导下的运动想象脑电训练模式

在该模式下的执行流程如图2所示，受试者可以根据自身情况设定训练的次数，当达到 设定的训练次数时该模式结束，未达到时则需要继续训练。受试者在较为放松的状态下实现 用佩戴数据手套的健侧手来钳制系统中的由三维重构的镜像虚拟患侧手进行抓握所喜好的物 体，通过视觉和听觉的刺激来激发并增强受试者运动想象脑电。

步骤1.1，根据受试者的个人喜好选择合适的背景音乐进行播放，使身体处于放松的状态 有助于诱发与增强大脑中的α波，使大脑进入最活跃的状态。同时，根据个人喜好选择训练模 式下用于镜像的虚拟患侧手抓握的物体，以增强视觉和心理因素的诱导。

步骤1.2，受试者健侧手佩戴数据手套并执行张开和抓握的动作，则分布在数据手套每根 手指上的柔性应变传感器检测出各手指的弯曲程度并转换为数字信号准备发送。每根手指上 对应的柔性传感器随着手指的弯曲的程度增大而使测得的数据手套的输出的值增加，当手再 次张开时，手指弯曲程度减小，采集到的数据手套数值也逐渐减小。

步骤1.3，利用计算机串口通讯方法，读取健侧手部弯曲程度的实时数据并将其展示到界 面中。采集到的数据手套数据以数据包的形式进行传送，具体格式如图3所示，每7个字节 为一组，第一个字节为起始位，最后一个字节为结束位。数据包体中的5个数据一一对应五 根手上柔性应变传感器输出的数值，所以未经任何处理收到的数据手套发送的初始数据为一 串字符串，包含每根手指对应的柔性应变传感器的数值。

步骤1.4，将采集到的数据手套数据进行分析处理：对采集到的数据手套发送出的字符串 数据进行分解和进制转换，获得表征每根手指动作状态和幅度的数据，并相应地传递给三维 镜像虚拟患侧手模型，再利用这些数据钳制虚拟患侧手部动作的幅度，作为视觉刺激，营造 沉浸感和交互性，误以为镜像虚拟手就是自身的幻肢。

步骤1.5，判断健侧手部的运动状态并钳制镜像虚拟患侧手动作。当执行抓握动作时，手 指弯曲程度越大，采集到的数据手套相应的数据值越大；当手部张开时，手指弯曲程度变小， 采集到的数值减小。所以当检测到的数据手套的值逐渐减小，程序判断手部执行张开动作， 受试者选定的物体逐渐增大，镜像的虚拟患侧手也随之张开；当检测到的数据手套的值逐渐 增大时，程序判断手部执行抓握动作，根据喜好选择定物体逐渐缩小，镜像的虚拟患侧手也 随之抓握。每次训练结束时，系统自动判断训练次数是否达到设定值，当达到时结束脑电训 练，否则重复步骤1.2到步骤1.5再进行训练。

步骤2，基于镜像虚拟的运动想象脑电信号采集模式

选择系统中该部分时，将开启脑电采集界面提示系统，设计脑电采集实验时序图如图4 所示。第1～2秒时间内计算机屏幕上出现“+”光标提示受试者脑电采集实验开始。第2～3秒时 间内界面出现文字提示“张开”或“抓握”，并伴有相应的语音提示，受试者根据任务提示进行 相应的运动想象。在第3～8秒的时间段内播放虚拟患侧手部动画视频，增强对受试者镜像神 经元的刺激，引导受试者执行患侧手部的运动想象任务，并使用脑电采集设备实时采集 3.5～7.5秒内的运动想象脑电信号。第8～10秒的时间内受试者稍事休息，准备进入下一次采 集实验，试验次数可根据实际情况自行设定。与此同时，脑电采集设备记录每一次实验中 3.5～7.5秒之间的脑电数据并保存在指定的文件夹中用于离线分析，根据对采集到的运动想象 脑电信号的离线分析结果，可评估受试者脑电训练是否达到要求。

步骤3，基于Skinner强化学习理论的闭环脑电采集与控制模式

通过对步骤2中采集到的运动想象脑电信号的离线分析可得知受试脑电训的效果，当受 试者对脑电训练的结果比较满意时，可通过闭环脑电采集与控制进行实验验证。在该BCI控 制系统中，作为控制对象的外部机械设备包括但不局限于机械手。首先在计算机控制程序中 将机械手的动作方式和运动想象脑电信号的任务通过程序进行匹配。受试者佩戴脑电采集装 置并进行患侧手部张/握动作的运动想象。脑电采集设备采集受试者运动想象脑电信号，调用 BCI控制系统中脑电信号处理程序对采集到的运动想象脑电信号进行在线的特征提取并识别 该运动想象脑电信号的想象任务。当识别出的运动想象脑电信号为抓握任务时，机械手执行 抓握的动作；当识别为张开的想象任务时，机械手执行张开动作。最后根据机械手执行的任 务与运动想象意图的匹配度，对受试者进行奖励并作为在线反馈，使受试者不断强化学习和 及时修正行为，增强运动想象脑电信号的激励强度，提高受试者控制机械设备的兴趣。