EEG运动想象分类方法及多空间卷积神经网络模型

技术领域

本发明涉及脑电信号分析技术领域，具体的说，涉及一种EEG运动想象分类方法及多空间卷积神经网络模型。

背景技术

EEG运动想象数据的分析依托于脑机接口技术的快速发展。在运动想象任务中，EEG数据来源于实验被试的运动类想象行为。通过分析这种EEG信号数据将有助于研究被试的大脑行为。更进一步，通过解析运动想象产生的EEG信号可以帮助残疾患者控制外部机械运动。比如：轮椅的运动方向，机械臂的运动等。因此，运动想象EEG信号的分析对于脑卒中风患者的独立活动具有重要意义。

传统的EEG信号分析方法中主要利用传统的机器学习算法完成对EEG信号的特征提取任务。比如，共空间模式(CSP)是最流行和最强大的特征提取方法之一，以及其衍生出的一系列方法，例如滤波器组共空间模式(FBCSP)等。提取到的EEG特征将被送入分类器中得到分类结果。分类器包括：线性判别分析(LDA)、支持向量机(SVM)等。然而，传统的机器学习特征提取算法依赖大量的数据先验知识。而先验知识的获取需要大量的时间。更重要的是，传统分类模型的泛化能力一直是一个挑战。

随着深度学习的发展，越来越多的神经网络被应用于EEG信号的特征提取和分类，比如EEGNet、残差网络等。深度学习模型强大的学习能力使得EEG特征提取的过程不再依赖数据先验知识。此外，深度学习模型通常具有更强的泛化性能。不足的是，目前的大多数深度学习模型普遍只关注脑电信号在单个空间下的表达，而忽略了EEG信号在其他空间下的有用信息。

发明内容

本发明针对现有技术存在的不足，提供了EEG运动想象分类方法及多空间卷积神经网络模型。本发明首先利用时间卷积网络沿着EEG的时间维度提取时间特征信息，并保留EEG信号的空间特性。随后，通过空间卷积提取EEG信号在空间维度上的特征信息。最后利用全连接网络将提取到的时间和空间特征映射到类别空间下完成分类任务。

本发明的具体技术方案如下：

根据本发明的第一技术方案，提供一种基于多空间卷积神经网络模型的EEG运动想象分类方法，所述方法包括：通过时间卷积提取EEG信号的时间特征，并保留EEG信号的空间特征，随后通过空间卷积提取EEG信号的空间特征；将所述时间特征和所述空间特征映射到分类器中完成分类。

进一步，所述通过时间卷积提取EEG信号在时间维度上的特征信息，并保留EEG信号的空间特征，随后通过空间卷积提取EEG信号在空间维度上的特征信息具体包括：通过1×1大小的第一卷积核对所述EEG信号的通道数进行升维；通过1×1大小的第二卷积核丰富所述EEG信号的空间特征；通过1×11大小的第三卷积核对所述EEG信号随时间进行卷积得到所述EEG信号的时间特征；通过60×1大小的第四卷积核对所述EEG信号进行加权空间滤波得到所述EEG信号的空间特征；通过第一池化层对所述时间特征和所述空间特征进行压缩，去除冗余信息，减少参数量。

进一步，所述将所述时间特征和所述空间特征映射到分类器中完成分类具体包括：对所述时间特征和/或所述空间特征进行滤波、池化处理后对其进行分类，并通过如下公式(1)计算出最大概率的类别；

其中，x

进一步，所述分类器的激活函数如下公式(2)所示：

其中，x表示经过卷积计算后的输出结果，a为常数。

进一步，在将所述时间特征和所述空间特征映射到分类器中完成分类之后，所述方法还包括：根据如下公式(3)所示的损失函数来最小化分类结果与对应的真实标签之间的差异：

其中，N表示样本数量，M表示类别的数量，若分类类别与真实标签数据相同，y

进一步，所述方法还包括：利用优化器优化所述损失函数，通过如下公式(4)更新所述优化器的学习率：

其中，new_lr表示新的学习率，initial_lr表示初学习率，r表示学习衰减率，epoch表示到目前的迭代次数，step_size表示步长。

根据本发明的第二技术方案，提供一种用于EEG运动想象分类的多空间卷积神经网络模型，包括特征提取器以及分类器；所述特征提取器被配置为通过时间卷积提取EEG信号的时间特征，并保留EEG信号的空间特征，随后通过空间卷积提取EEG信号的空间特征；所述分类器被配置为将所述时间特征和所述空间特征映射到分类器中完成分类。

进一步，所述特征提取器被进一步配置为：通过1×1大小的第一卷积核对所述EEG信号的通道数进行升维；通过1×1大小的第二卷积核丰富所述EEG信号的空间特征；通过1×11大小的第三卷积核对所述EEG信号随时间进行卷积得到所述EEG信号的时间特征；通过60×1大小的第四卷积核对所述EEG信号进行加权空间滤波得到所述EEG信号的空间特征；通过第一池化层对所述时间特征和所述空间特征进行压缩，去除冗余信息，减少参数量。

进一步，所述分类器被进一步配置为：对所述时间特征和/或所述空间特征进行滤波、池化处理后对其进行分类，并通过如下公式(1)计算出最大概率的类别；

其中，x

进一步，所述分类器的激活函数如下公式(2)所示：

其中，x表示经过卷积计算后的输出结果，a为常数。

进一步，所述模型还包括机器学习模块，所述机器学习模块配置为：根据如下公式(3)所示的损失函数来最小化分类结果与对应的真实标签之间的差异：

其中，N表示样本数量，M表示类别的数量，若分类类别与真实标签数据相同，y

进一步，所述机器学习模块还包括优化器，利用优化器优化所述损失函数，通过如下公式(4)更新所述优化器的学习率：

其中，new_lr表示新的学习率，initial_lr表示初学习率，r表示学习衰减率，epoch表示到目前的迭代次数，step_size表示步长。

有益效果在于：

1)克服了传统机器学习算法在特征提取任务上的局限性，并获得了更高的模型泛化能力。

2)提出的多空间卷积在一定程度上提高了模型在EEG信号上的特征提取性能。

3)提出的方法在多个数据集上均体现了很高的分类准确率，显著优于现有方法。

附图说明

图1为根据本发明实施例的一种基于多空间卷积神经网络模型的EEG运动想象分类方法的流程图。

图2为根据本发明实施例的分类器的激活函数的几何图。

图3为根据本发明实施例的IIa数据集的混淆矩阵图。

图4为根据本发明实施例的IIb数据集的混淆矩阵。

具体实施方式

下面将对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

另外，在本发明中如涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定发明。

现在结合说明书附图对本发明做进一步的说明。

本发明实施例提供了一种基于多空间卷积神经网络模型的EEG运动想象分类方法。如图1所示，该方法始于步骤S100，通过时间卷积提取EEG信号的时间特征，并保留EEG信号的空间特征，随后通过空间卷积提取EEG信号的空间特征。

在一些实施例中，将每次输入的信号定义为X

最后在步骤S200中，将所述时间特征和所述空间特征映射到分类器中完成分类。

在分类器中，先使用一个卷积层对输入的数据进一步滤波，然后紧跟着是一个第二池化层，最后FC层对数据进行分类，最后用公式(1)计算出最大概率的类别，其公示如(1)所示

其中，x

在一些实施例中，所述分类器的激活函数如下公式(2)所示：

如图2所示，本发明实施例所设计的激活函数融合了sigmoid和ReLU,在左侧具有软饱和性，右侧无饱和性。左侧能使ELU对输入变化或噪声更鲁棒，右侧线性部分使得ELU能够缓解梯度消失的问题，ELU输出均值接近于0，所以收敛速度更快。

在一些实施例中，使用交叉熵损失来最小化模型预测与对应的真实标签之间的差异，损失函数如下公式(3)所示：

其中，N表示样本数量，M表示类别的数量，若分类类别与真实标签数据相同，y

在一些实施例中，利用优化器优化所述损失函数，通过如下公式(4)更新所述优化器的学习率：

其中，new_lr表示新的学习率，initial_lr表示初学习率，r表示学习衰减率，epoch表示到目前的迭代次数，step_size表示步长。

仅作为示例，将优化器的初试的学习率设置为0.02，每50个epoch将学习率降为原来的0.5倍。优化器可以选择Adma优化器。通常情况下Adma优化器是一种工作性能比较优秀的优化器，其计算高效，对内存需求少。它结合了AdaGrad和RMSProp两种优化算法的优点，对梯度的均值和方差进行综合考虑计算出新的步长。

本发明实施例还提供一种用于EEG运动想象分类的多空间卷积神经网络模型，包括特征提取器以及分类器；所述特征提取器被配置为通过时间卷积提取EEG信号的时间特征，并保留EEG信号的空间特征，随后通过空间卷积提取EEG信号的空间特征；所述分类器被配置为将所述时间特征和所述空间特征映射到分类器中完成分类。

进一步，所述特征提取器被进一步配置为：通过1×1大小的第一卷积核对所述EEG信号的通道数进行升维；通过1×1大小的第二卷积核丰富所述EEG信号的空间特征；通过1×11大小的第三卷积核对所述EEG信号随时间进行卷积得到所述EEG信号的时间特征；通过60×1大小的第四卷积核对所述EEG信号进行加权空间滤波得到所述EEG信号的空间特征；通过第一池化层对所述时间特征和所述空间特征进行压缩，去除冗余信息，减少参数量。

进一步，所述分类器被进一步配置为：对所述时间特征和/或所述空间特征进行滤波、池化处理后对其进行分类，并通过如下公式(1)计算出最大概率的类别；

其中，x

进一步，所述分类器的激活函数如下公式(2)所示：

其中，x表示经过卷积计算后的输出结果，a为常数。

进一步，所述模型还包括机器学习模块，所述机器学习模块配置为：根据如下公式(3)所示的损失函数来最小化分类结果与对应的真实标签之间的差异：

其中，N表示样本数量，M表示类别的数量，若分类类别与真实标签数据相同，y

进一步，所述机器学习模块还包括优化器，利用优化器优化所述损失函数，通过如下公式(4)更新所述优化器的学习率：

其中，new_lr表示新的学习率，initial_lr表示初学习率，r表示学习衰减率，epoch表示到目前的迭代次数，step_size表示步长。

本发明实施例所提供的用于EEG运动想象分类的多空间卷积神经网络模型在具体实施的时候与本发明实施例所提供的方法的技术效果一致，在此不累述。

下面将基于本发明实施例提供的方法或模型进行实验，以进一步阐述本发明的可行性和进步性。

本发明实施例在BCI竞赛IV的IIa和IIb数据集上进行了广泛的实验。

BCI竞赛IV的IIa：该数据集收集了9名健康受试者在两个不同阶段的22个电极脑电图信号。每个受试者都参与了四项运动想象任务，包括左手、右手、脚和舌头的运动想象。每个阶有6次实验，中间有短暂的休息。一次实验数据包含48个实验数据片段(四种类别的任务各12个)，每一阶段总共产生288个实验数据片段。本文在试验中考虑每次实验的[2,6]秒之间的实验数据。本文将所有实验数据放在一起，按照滑动窗口大小为500，步长为20取实验数据。将选取的实验数据中的5000份数据作为测试集，其余部分作为训练集。

BCI竞赛IV的IIb：BCI competition IV公共数据集Data sets 2b，其实验范式与IIa一样，是基于视觉诱发的左右手运动想象的脑电数据集。该数据集采集了9名右利手、视力正常或达到矫正后正常的实验者的脑电信号作为数据集[15]。本文将所有实验数据放在一起，按照滑动窗口大小为500，步长为20取实验数据。将选取的实验数据中的5000份数据作为测试集，其余部分作为训练集。

将本发明实施例提供的方法与传统的机器学习分类方法做对比实验。传统的机器学习分类方法包括SVM、KNN、LDA。实验结果表明，本发明相较于传统机器学习的方法，分类效果有了显著的提升，证明本发明实施例所提供的多空间卷积神经网络可以有效的提取脑电信号的特征，并进行分类。IIa和IIb数据集的混淆矩阵如图3和图4所示，与机器学习方法的对比如表1和表2所示。

表1.机器学习方法与本文方法对IIa数据集分类对比

表2.机器学习方法与本文方法对IIb数据集分类对比

根据表1和表2可以看出，本发明实施例所提出的方法明显的优于一般的机器学习方法。

以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。