情感作为人脑的高级认知功能,具有传递信息与调控行为的作用。相比于语音、面部表情和身体姿势等外在行为,脑电(Electroencephalography,EEG)信号反映的是大脑皮层神经元的电活动,由于不受人为主观控制,更能反映人的真实情感[1]。同时,EEG 信号具有无创测量、时间分辨率高等优点,逐渐成为情感识别领域的研究热点[2-3]。
随着复杂网络与神经科学的深度结合,基于神经生理信号构建的脑网络能够从宏观、整体上去研究大脑的认知功能和异常变化[4-5]。脑网络是分析EEG 的一种有效方法,一般将EEG 电极通道看作脑网络的节点,通道间的连接看作脑网络的边,边的连接方式主要有功能性连接和有效性连接。功能性连接仅包含信号间的统计学依赖关系,并不能提供任何因果或方向信息,有效性连接却可以进一步衡量信号之间的因果联系。因果性分析法是一种能表征出信息大小和信息流方向的分析方法,常用的因果分析方法包括格兰杰因果(Granger Causality,GC)分析、基于信息理论的因果分析和基于状态空间的因果分析等[6]。其中,GC 分析由于具有很强的可解释性,在情感识别领域得到广泛应用[7-9]。现有脑网络假设各节点之间相互独立,并没有考虑所有节点之间具有协同和交互作用的事实[10]。模糊认知图(Fuzzy Cognitive Maps,FCM)是一种基于图的知识表示方法,描述了一组由因果关系连接的节点,它在因果关系的描述上引入了模糊测度,使得认知图能够更自然地表达人类的逻辑习惯[11]。融合FCM 对问题属性之间的相互依赖关系进行建模已广泛应用于语音情感识别、机器人情感响应和科学决策模型等领域并取得很好的效果[12-14],但迄今为止将FCM 用于脑网络的构建,尚未见文献报道。因此,如何将FCM 与GC相结合构建脑网络并提取特征用于EEG 信号的情感识别研究,就是本文的研究重点。
本文首先根据常用的EEG 脑网络GC 分析方法,以电极通道作为节点,以GC因果值作为边来构建基本的GC脑网络;然后考虑FCM 的结构与GC脑网络结构的对应性,利用FCM 多节点间的因果属性对GC 脑网络的节点值进行优化,构建新的FCM-GC脑网络并提取其特征,该特征考虑了节点间的协同交互作用,提升了情感识别性能。进一步,为使FCM 与EEG 脑网络深度融合,本文将EEG电极通道的空间位置信息加入到FCM 训练过程中,构建了改进的FCM-GC (Improved FCM-GC,IFCM-GC)脑网络并提取特征,使情感识别系统的性能得到进一步提升。
常用的脑电情感识别系统包括脑电数据库、特征提取和识别模型3 部分。本文选用DEAP 脑电情感数据库,特征提取使用本文提出的FCM-GC特征及IFCM-GC 特征,识别模型使用常用的支持向量机(support vector machine,SVM).
实验结果表明,IFCM-GC特征在效价维和激励维二分类的平均识别率分别为97.10%和97.00%,较使用GC特征的识别率分别提升1.47%和1.86%.
1 脑电数据库及预处理
DEAP 数据库由英国伦敦玛丽皇后大学KORLSTRA et al[15]采集并用于研究人类情感状态,包括32例受试者在40个1 min时长的音乐视频刺激下记录的40导生理信号以及受试者对视频的效价维、激励维、控制维和喜好维的心理量表。生理信号采用512 Hz的采样率,包含8个通道的外围生理信号和32个通道的EEG 信号。效价维评估情感状态是积极的还是消极的,激励维反映情感的强弱程度,控制维描述受试者意图控制情况的程度,喜好维表示受试者对视频的喜好程度。其中,效价维和激励维是现有研究衡量情感类别的主要指标,由二者构成的二维情感模型如图1所示。本文将采用这样的二分类指标来评价系统性能。
图1 效价-激励二维情感模型
Fig.1 Two-dimensional emotional model of valence-arousal
本文从DEAP数据库中选取32个通道的EEG信号进行预处理,步骤为:1) 使用盲源分离技术去除EEG 信号中混入的眼电伪迹干扰信号。独立成分分析法是盲源分离问题的有效解决方法,通过独立成分分析法分解原始信号后,将分离的独立成分划分为神经活动相关成分和眼电伪迹相关成分,去除伪迹相关成分后进行重新组合,重组后的EEG 数据就去除了眼电伪迹的影响。2) 使用50 Hz的陷波滤波器去除市电干扰。3) 使用平均参考实现差分去噪。平均参考就是取全脑电极的平均值作为参考电极,对EEG 电极进行参考转换,消除地电极带来的信号干扰。4) 将EEG 信号下采样至128 Hz,目的是减少数据量以提高计算速度。5) 针对EEG信号的研究一般划分为δ、θ、α、β、γ 五个频段,文献[16]指出EEG 信号的δ 频段主要见于婴儿的深度睡眠,不属于清醒的青少年和成年人EEG 信号的标准组成部分,因此本文研究不包括δ 频段。本文中使用带通滤波器将EEG 信号划分为θ(4～8 Hz)、α(8～14 Hz)、β(14～31 Hz)、γ(31～45 Hz)四个频段。6) 使用窗长3 s步长1.5 s的矩形窗划分样本[17]。对刺激事件开始前后的脑电数据使用矩形窗进行分段,分段后数据各点减去平均基线值可以消除自发脑电波导致的脑电噪声,每个数据段作为一个样本可以丰富样本数量,为后续模型训练提供基础。
2 脑网络构建及特征提取
2.1 GC脑网络及关联矩阵
构建GC 脑网络的关键是定义网络的节点与边。本文以32 个EEG 通道电极作为节点,利用GC分析方法计算任意两个电极间的GC值作为边,由此构成GC脑网络。GC 分析是一种用于推断随机变量之间某些类型的因果关系的方法。它基于2个主要原则:1) 原因发生在结果之前;2) 原因在结果中产生独特的变化。一般来说,一个时间序列Y被称为另一个时间序列X 的“格兰杰原因”,用Y→X 表示。令X=
和Y=
表示任意两个节点的EEG 时间序列,x t-i(i=1,2,…,L-1)和y t-i(i=1,2,…,L-1)分别表示X 和Y 的第i 个滞后时间值。那么,通过公式(1)-(4)的单变量和双变量格兰杰因果模型预测当前值:
其中,带下标的a 和b 是常系数,L x、L y、L xx、L xy、L yx、L yy 是模型的滞后项阶数,可以通过贝叶斯信息准则得到最优滞后阶数。εXt 和εYt 分别采用单变量模型表征真实值和预测值之间的误差。ηXYt 和ηYXt 分别通过Y→X 和X →Y 的双变量模型,表征真实值和预测值之间的误差。
公式(1)和(2)属于一元自回归模型,公式(3)和(4)属于二元自回归模型。格兰杰因果关系的数学定义是一元自回归模型的误差方差和二元自回归模型的误差方差比值的对数,即Y→X 和X →Y 的格兰杰因果关系分别表示为:
其中,σεX、σεY、σηYX 和σηXY 分别表示公式(1)到公式(4)中误差的方差。当F Y→X ＞0 时,Y t 对X t 存在因果关系;当F Y→X=0时,Y t 对X t 不存在因果关系。类似的,当F X→Y ＞0时,X t 对Y t 存在因果关系;当F X→Y=0时,X t 对Y t 不存在因果关系。
根据上述计算过程,可对脑电信号进行格兰杰因果分析,即将32个电极通道当作32个独立的时间序列,计算两两通道间的GC 关系值,得到GC 脑网络的关联矩阵。图2 是以5 个通道为例得到的GC脑网络关联矩阵,其中w 1,2 表示通道1对通道2的GC值。图中,GC的灰度值在0～1之间,灰度值越大,颜色越深,代表关联性越强。
图2 GC脑网络关联矩阵
Fig.2 GC brain network correlation matrix
2.2 FCM 基本原理
标准的FCM 语义可以由四元组(C,W,A,f)定义,其中,C={C 1,C 2,…,C M}是以模糊集建模的M 个节点的集合,W 是包含分配给每对节点(C i,C j)的权值w ij 的矩阵。w ij 的值表示原因节点C i和效果节点C j 的边的符号和强弱,当w ij＞0时,C i对C j 为正向因果关系;当w ij＜0时,C i 对C j 为负向因果关系;当w ij=0时,C i 对C j 没有因果关系。A={A 1,A 2,…,A M}是各节点在离散时间步长t={1,2,…,T}上的激活程度的集合。激活函数f 汇总了多个因果事件对目标节点的影响,并将结果限制在预定义的激活间隔内。FCM 训练步骤主要包括初始化激活程度、更新激活程度和更新权值矩阵三部分。
首先对FCM 模型的激活程度初始化,计算规则由式(7)给出:
其次,对FCM 的激活程度进行更新,计算规则由式(8)给出,模型迭代重复该更新规则,直到激活程度的值不再发生改变,此时的FCM 模型达到稳态。
由式(8)可知,计算一个节点更新后的激活程度是由它的原因节点施加因果权值求和后得到的,它的原因节点包含节点族中除了它本身外的所有节点,通过上述计算,就考虑了多个节点之间的协同作用。权值的更新基于差分Hebbian学习(Differential Hebbian Learning,DHL)算法,它假设如果原因节点C i 和效果节点C j 同时改变其激活值,则权值w ij 应增加一个常数因子;否则,在该迭代中不会修改因果关系。其计算过程如式(9)所示。
其中,ηt 为学习率,激活程度在第t 次训练的差分
2.3 FCM-GC脑网络及特征提取
图2的GC脑网络关联矩阵采用两两通道间独立计算的方式,并没有考虑多电极通道间的协同交互作用。究其本质,多电极通道间是存在协同交互作用的,故本节利用FCM 多节点间的因果属性,构建考虑多电极通道间协同交互作用的FCM-GC 脑网络并提取特征。
图3是以5个节点为例的FCM-GC 特征提取示意图。首先将FCM 与GC脑网络对应,即将FCM的多节点看作GC 脑网络的多节点,这些节点间的因果属性关系看作GC 脑网络的边,由此构成FCM-GC脑网络。接着对该脑网络的节点和边进行初始化,初始值C 0 和W 0 在FCM 中是由专家根据经验值给出的。在FCM-GC脑网络中,将电极通道看作节点,其初始值可由各节点通道对应的统计量代替专家先验知识计算得到,同时用GC 脑网络的关联矩阵代替FCM 中的专家先验知识作为边的初始值。注意到,此时这个FCM-GC 脑网络边的初始值只包含了两节点间的因果信息。然后利用FCM 训练方法对初始化后的FCM-GC脑网络模型进行训练,这时的训练过程就继承了FCM 考虑多节点因果属性的协同交互作用。
图3 FCM-GC特征提取示意图
Fig.3 Schematic diagram of FCM-GC feature extraction
训练FCM-GC 脑网络时,使用式(7)初始化节点的激活程度A i 后,式(8)将多节点的因果信息汇总于各个节点,式(9)则在保持GC脑网络关联矩阵中两节点间因果关系基础上,补充了多节点间的因果信息。这样训练后的关联矩阵就考虑了多通道的协同交互作用。最后FCM-GC 脑网络训练达到稳态后,此时该模型的边构成的矩阵W T 即为本文提出的FCM-GC特征。
2.4 IFCM-GC 脑网络及特征提取
图4为10-20脑电极通道图,各电极的空间位置并不相同。上节提出的FCM-GC 脑网络,将电极通道作为节点,使用FCM 模型训练网络到稳态。在这个过程中,没有考虑电极的空间位置信息,而实际上,电极的空间位置会影响情感识别的结果。因此,需要在FCM-GC 脑网络基础上,进一步将电极位置信息加入到FCM-GC脑网络模型中,由此构建改进的FCM-GC脑网络,即IFCM-GC脑网络。
图4 10-20脑电极通道图
Fig.4 10-20 brain electrode channel diagram
改进的思路是在初始化激活程度时将电极位置信息加入到FCM-GC网络的训练过程中,具体是通过对公式(7)增加电极空间位置权重W S,如式(10)所示。
电极空间位置权重的设计原则是:当电极位置相距较近时,电极间的影响就较强,W S 的值就较大;反之,当电极位置相距较远时,电极间的影响就较弱,W S 的值就较小。如图4所示,l 为电极间的距离,L 为左右颞叶间电极距离最大值,当l=L 时,认为电极间还存在较弱的影响,即W S 的值最小且不为零。因此,本文所设计的W S 计算公式如式(11)所示:
其中,电极间的距离l∈(0,L],故W S 的值域是
通过公式(10)和(11)训练到稳态的脑网络即为IFCM-GC脑网络,提取的脑网络特征为IFCM-GC特征。
3 实验设计及结果分析
前文提到FCM-GC 脑网络的节点可通过计算各节点通道对应的统计量作为初始值,但选择哪些统计量效果更好,需要通过实验来确定。再者,EEG 信号通常是分频段的,哪些频段特征或它们的组合特征更有效,也需要实验来证明。另外,FCMGC和IFCM-GC特征哪个更有效,也是需要通过实验来得出结论的。针对上述问题,本文的实验统一使用DEAP数据库中1 404个样本用于训练模型,其余156个样本用于测试,采用十折交叉验证,最后取十折的平均值作为单个受试者的识别结果,使用32个受试者的平均识别率评判模型的识别性能,识别模型使用常见的线性核函数SVM 模型。下面给出详细叙述。
3.1 不同初始化节点方法对FCM-GC脑网络的性能影响
FCM 节点的初始值通常由专家依据经验值给出,对FCM-GC脑网络本文使用各节点通道对应的统计量代替专家先验知识进行初始化。使用的统计量包括均值(Mean)、方差(SD)、平均绝对偏差(MAD)、中位数绝对偏差(Med AD).表1中给出了EEG 分频段情况下不同初始值方法在DEAP数据库上二分类的识别结果。
表1 不同初始化节点方法识别结果
Table 1 Identification results of different initialization node methods%
方法θ α γ平均值β效价维激励维效价维激励维效价维激励维效价维激励维效价维激励维GC 92.35 91.70 92.30 92.09 91.95 92.06 84.32 84.11 90.23 89.99 FCM-GC-Mean 92.37 91.70 92.57 92.26 92.35 92.20 84.67 84.91 90.49 90.27 FCM-GC-MAD 93.00 92.33 93.86 93.71 92.70 92.89 85.83 85.81 91.35 91.19 FCM-GC-SD 92.74 91.73 93.79 93.89 92.74 93.15 85.91 85.24 91.30 91.00 FCM-GC-Med AD 93.72 93.43 93.82 93.67 92.73 92.53 85.27 85.44 91.39 91.27
由表1 可知,使用均值初始化节点提取的FCM-GC特征(FCM-GC-Mean)相较于GC 特征的识别率提升较小,四个频段的平均识别率在效价维和激励维上分别提升了0.26%和0.28%.使用平均绝对偏差、方差、中位数绝对偏差初始化节点(FCMGC-MAD、FCM-GC-SD、FCM-GC-Med AD)相较GC 特征在效价维分别提升1.12%、1.07% 和1.16%,在激励维分别提升1.20%、1.01% 和1.28%.由此可知,使用统计量代替专家给出节点初始值是有效的。其中使用中位数绝对偏差对FCMGC节点初始化在四个频段上取得的平均提升最高,故后面关于FCM-GC 的实验统一使用Med AD初始化节点的方法。
3.2 频段组合对FCM-GC脑网络的性能影响
EEG 信号通常划分为θ、α、β、γ 四个频段,这样能更有效地利用EEG 信号中的信息。本文研究了不划分频段(without divide)、单一频段(θ、α、β、γ)和组合频段(combine)情况对FCM-GC脑网络的性能影响,其结果如表2所示。
表2 分频段和组合频段FCM-GC特征识别结果
Table 2 FCM-GC feature recognition results of subband and combined band%
频段效价维激励维without divide 93.29 93.01 93.72 93.43 α 93.82 93.67 θ 92.73 92.53 γ 85.27 85.44 combine 96.88 96.63 β
由表2可知,θ 和α 频段的FCM-GC 脑网络特征的识别率高于不划分频段提取FCM-GC 脑网络特征的识别率。组合频段的FCM-GC 脑网络特征相较于不划分频段提取FCM-GC 脑网络特征在效价维和激励维分别提升3.59%和3.62%,相较于单一频段在效价维和激励维分别至少提高了3.06%和2.96%.由此可见,先划分频段再组合可以充分利用各频段中适于脑电情感识别的信息,进而提升识别率。
3.3 IFCM-GC脑网络及特征的性能
如前所述,IFCM-GC 脑网络是在FCM-GC 脑网络基础上加入电极通道的空间位置信息,本节通过实验来研究其性能,并和其他方法进行对比。IFCM-GC脑网络节点初始值使用中位数绝对偏差(Med AD),边的初始值使用GC 脑网络边的权值,IFCM-GC脑网络的训练使用加入了电极位置信息的改进FCM 训练方法,在各频段以及组合频段进行了对比实验,结果如表3所示。为便于比较,表中同时列出了GC和FCM-GC的对应实验结果。
表3 IFCM-GC特征识别结果
Table 3 IFCM-GC feature recognition results%
特征θ α γ combine β效价维激励维效价维激励维效价维激励维效价维激励维效价维激励维GC 92.35 91.70 92.30 92.09 91.95 92.06 84.32 84.11 95.63 95.14 FCM-GC 93.72 93.43 93.82 93.67 92.73 92.53 85.27 85.44 96.88 96.63 IFCM-GC 93.82 93.54 94.30 93.98 93.17 92.95 85.66 86.00 97.10 97.00
由表3可知,GC特征和IFCM-GC特征在组合频段的识别率都要高于单一频段,进一步验证了组合频段可以有效结合各频段的信息以提升识别率。此外,无论是单一频段还是组合频段,IFCM-GC 特征都取得了最好的识别率,相较于GC 特征在4个单一频段的平均提升在效价维和激励维上分别为1.51%和1.63%,比FCM-GC 带来的提升更高。在组合频段上,IFCM-GC特征在效价维和激励维取得了最高的识别率97.10%和97.00%.上述结果表明,通过在初始化激活程度时引入电极通道的空间位置信息来改进FCM,可以让IFCM-GC 特征包含更多信息,实现进一步提高识别率的目的。
3.4 与其他方法的比较
为验证本文方法的有效性,与近年来DEAP情感脑电数据库上对格兰杰因果特征进行改进的方法进行了对比。文献[8]将格兰杰因果与梯度直方图(histogram of oriented gradient,HOG)结合,使用SVM 对情感进行分类。文献[9]则是分别使用最小绝对收缩和选择算子(least absolute shrinkage and selection operator,LASSO)、最小绝对惩罚解(least absolute penalized solution,LAPS)对格兰杰因果特征进行改进,并提出一种基于传感器相关性的稀疏格兰杰因果分析模型(sparse granger causality analysis model based on sensor correlation,SCSGA),使用SVM 作为分类器进行情感识别。各特征识别结果如表4所示。
表4 本文与其他方法的比较
Table 4 Feature recognition results comparison%
特征分类器效价维激励维GC[8]SVM-73.18 GC+HOG[8]SVM-88.93 LASSO-GC[9]SVM-73.57 LAPS-GC[9]SVM-77.52 SC-SGA[9]SVM-80.59 IFCM-GC(ours)SVM 97.10 97.00
由表4可知,在分类器都使用SVM 的情况下,本文方法相较其他提升了8%以上的识别率,验证了结合IFCM 和GC分析构建脑网络并提取特征进行情感识别方法的有效性。
4 结束语
本文结合FCM 和GC分析构建了FCM-GC脑网络并提取了FCM-GC特征,进一步引入了电极通道空间位置信息改进FCM 的训练方法,构建了IFCM-GC 脑网络并提取IFCM-GC 特征,后端使用SVM 作为识别模型,用于DEAP数据库的二分类,在效价维和激励维的识别率分别为97.10%和97.00%.与现有研究比较,IFCM-GC特征取得了更好的识别性能,在未来的工作中,可以考虑结合深度学习模型的方法来进一步提升情感识别性能。
[1]HELLER W.Neuropsychological mechanisms of individual differences in emotion,personality,and arousal[J].Neuropsychology,1993,7(4):476-489.
[2]冯金鑫,张雪英,张静,等.基于深度压缩感知的脑电情感识别[J].太原理工大学学报,2023,54(5):789-795.FENG J X,ZHANG X Y,ZHANG J,et al.EEG emotion recognition based on deep compressed sensing[J].Journal of Taiyuan University of Technology,2023,54(5):789-795.
[3]陈景霞,郑茹,贾小云,等.共空间模式结合小波包分解的脑电情感分类[J].计算机工程与应用,2019,55(1):149-153.CHEN J X,ZHENG R,JIA X Y,et al.EEG emotion classification based on common spatial patterns and wavelet packet decomposition[J].Computer Engineering and Applications,2019,55(1):149-153.
[4]WU X,ZHENG W L,LU B L.Investigating E EG-based functional connectivity patterns for multimodal emotion recognition[J].Journal of Neural Engineering,2020:1-15.
[5]CAO J,ZHAO Y,SHAN X,et al.Brain functional and effective connectivity based on electroencephalography recordings:a review[J].Human Brain Mapping,2022,43(2):860-879.
[6]任伟杰,韩敏.多元时间序列因果关系分析研究综述[J].自动化学报,2021,47(1):64-78.REN W J,HAN M.Survey on causality analysis of multivariate time series[J].Acta Automatica Sinica,2021,47(1):64-78.
[7]GRANGER C W J.Investigating causal relations by econometric models and cross-spectral methods[J].Econometrica:Journal of the Econometric Society,1969:424-438.
[8]GAO Y,WANG X,POTTER T,et al.Single-trial EEG emotion recognition using granger causality/transfer entropy analysis[J].Journal of Neuroscience Methods,2020,346:108904.
[9]CHEN D,MIAO R,DENG Z,et al.Sparse granger causality analysis model based on sensors correlation for emotion recognition classification in electroencephalography[J].Frontiers in Computational Neuroscience,2021,15:684373.
[10]BAGHERZADEH S,MAGHOOLI K,SHALBAF A,et al.Emotion recognition using effective connectivity and pre-trained convolutional neural networks in EEG signals[J].Cognitive Neurodynamics,2022:1-20.
[11]KOSKO B.Fuzzy cognitive maps[J].International Journal of Man-Machine Studies,1986,24(1):65-75.
[12]BAYKASOGLU A,GÖLCÜK I.Development of a novel multiple-attribute decision making model via fuzzy cognitive maps and hierarchical fuzzy TOPSIS[J].Information Sciences,2015,301:75-98.
[13]ZHANG W,ZHANG X,SUN Y.A new fuzzy cognitive map learning algorithm for speech emotion recognition[J].Mathematical Problems in Engineering,2017:1-12.
[14]黄宏程,左蓉蓉,胡敏,等.基于模糊认知图的机器人情感响应模型[J].电子与信息学报,2022,44(2):486-495.HUANG H C,ZUO R R,HU M,et al.Robot emotion response model based on fuzzy cognitive map[J].Journal of Electronics&Information Technology,2022,44(2):486-495.
[15]KOELSTRA S.DEAP:A database for emotion analysis using physiological signals[J].IEEE Transactions on Affective Computing,2012,3(1):18-31.
[16]DIDAR D,WEI W G,EE X T.EEG-based emotion recognition:review of commercial EEG devices and machine learning techniques[J].Journal of King Saud University-Computer and Information Sciences,2022,34(7):4385-4401.
[17]张静,张雪英,陈桂军,等.结合3D-CNN 和频-空注意力机制的EEG 情感识别[J].西安电子科技大学学报,2022,49(3):191-198,205.ZHANG J,ZHANG X Y,CHEN G J,et al.EEG emotion recognition based on the 3D-CNN and spatial-frequency attention mechanism[J].Journal of Xidian University(Natural Science),2022,49(3):191-198,205.