项目原因进行了一些调研，慢慢更新~
文章目录
- 多模态情绪识别研究综述 2020
* - 多模态混合策略
– - 多模态混合形式
- 论文[1] 基于深度学习和脑电信号的情感分类方法研究 方法：DBN
- 论文[2] 基于多生理信息融合的驾驶疲劳检测方法研究 方法：DBN+SVM 2018
- 论文[3] 融合EEG-EMG生理信号的人机协作装配意图识别方法研究 方法：SVM+D-S
- 论文[4] 基于GA-BP网络的脑电与心电融合疲劳识别算法研究 方法：GA-BP
多模态情绪识别研究综述 2020
由于主要是研究多模态生理信号的特征融合，所以先从一篇关于情绪识别的综述开始，但实际上可以应用到各个领域。
; 多模态混合策略
利用不同类别的信号相互支持，对互补信息进行融合处理，能够有效地提高最终的识别效果[46]。根据目前已有的研究，模态融合的方式大致可分为 4 种， 分别是数据级融合 (传感层融合)、特征级融合、决策级融合、模型层融合。
数据级融合
又称传感器层融合。数据级融合是直接对各个传感器采集到的最原始的、没有经过特殊处理的数据进行组合，从而构造一组新的数据。
目前数据级融合处理的方法有数值处理、参数估计。具体为使用线性、非线性估计和统计运算方法对来自多个数据源的数据进行计算处理。
优点：可以很好地保留各个模态传感器上的数据信息，避免信息的丟失，保持信息的完整性。
缺点：因为数据是在原始状态下进行融合，因此处理过程极为繁琐复杂。
; 特征级融合
将多种模态数据经过提取、构建成相应的模态特征之后，再拼接成一个集成各个模态特征的特征集。
常用的融合策略：将经特征提取后全部模态特征数据级联为特征向量后再送入一个情感分类器。
【 举例】：
Emerich 等[52] 将长度归一化的 语音情感特征和 面部表情特征级联起来，构造一个特征向量。实验结果表明语音信息系统提取的特征包含有价值的情感特征，这些特征是无法从视觉信息中提取出来的。
优点：两种模式融合时，情绪识别系统的性能和鲁棒性都得到了提高
缺点：直接级联拼接的方式新特征空间不完备，融合后维数过高，当特征维数达到一定规模后，模型的性能将会下降。
Yan 等[53] 提出了一种 基于稀疏核降秩回归 (SKRRR) 特征级融合策略，SKRRR 方法是传统降秩回归 (RRR) 方法的非线性扩展，将预测量和响应特征向量分别通过两个非线性映射映射到两个高维特征空间中进行核化。openSMILE 特征提取器和 SIFT 描述子分别
从 语音模态和 面部表情模态中提取有效特征，然后使用 SKRRR 融合方法融合两种模态的情感特征。
Mansoorizadeh 等[54] 提出了一种 异步的特征级融合方法，在单个信号测量之外创建一个统一的混合特征空间，他们使用提出的方法从 语音韵律和 面部表情来识别基本的情绪状态。结果表明，与基于单模态人脸和基于语音的系统相比，基于特征级融合的系统性能明显提高。
特征级融合的优缺点：
优点：当模态信息针对同一内容而又不互相包含时，特征级融合方法虽然能最大限度地保留原始信息，在理论上能达到最佳的识别效果[49]
缺点：没有考虑到不同模态情绪特征之间的差异性。
决策级融合
找出各个模态的 可信度，再进行协调、联合决策，如图 4。决策级融合与特征级融合相比， 更容易进行，但关键是要 探究各个模态对情绪识别的重要度。
决策级采用的融合策略：基于统计学规则[57] (总和规则、乘积规则、最大/最小/中位数规则等)、
枚举权重[58-59]、自适应增强[60-61]、贝叶斯推论及其推广理论 (Dempster-Shafer 理论[62]、动态贝叶斯网络[63])、模糊积分[64] 等。
【 举例】：
Huang 等[65] 同时使用 枚举权重及 adaboost 两种不同决策级融合策略来比较情绪识别效果，使用 面部表情分类器和 脑电图分类器作为增强分类器的子分类器，并分别应用于两个学习任务 (效价和唤醒)。结果表明这两种方法都能给出最后的效价和唤醒结果，在公开数据集 DEAP、MAHNOBHCI 以及在线应用均取得不错的效果。
基于统计规则和概率理论均依赖于所有分类器相互独立的假设，这与实际情况不符。因此，预测结果在一定程度上是不准确的。 Lu 等[66] 采用了一种称为 模糊积分的融合策略。模糊积分是关于模糊测度的实函数的积分。实验发现 眼球运动特征和 脑电图对情绪识别具有互补作用，模糊积分融合策略的最佳准确率为 87.59%，相比于其他融合方式，模糊积分融合能显著提高情绪识别的准确性。
决策级融合的缺点：
通常情况下，多种模态间的信息并非完全独立， 决策级融合会丢失不同模态之间的相关性，所以在实际应用环境下识别的结果未必会比单模态识别的效果好。
; 模型级融合
模型级模态融合[67-68] 不依赖于以上 3 种融合层次的体系结构。
决策级融合关键在于找出不同模态在决策阶段的可信程度，但 模型级融合并不需要重点去探究各模态的重要程度，而是根据模态特性需要建立合适的模型，联合学习关联信息。
特征级融合则主要先通过构建特征集合或混合特征空间，再送入到分类模型进行分类决策。 模型级融合可以将不同模态特征分别输入到不同模型结构再进行进一步特征提取。
如 Zheng 等[17]采用 将堆叠的受限玻尔兹曼机展开成深度置信网络，首先以手工提取出来的脑电和眼动特征分别作为两个玻尔兹曼机的输入并从神经网络中学习两种模式的共享表示，实验结果表明，基于深度神经网络的模型级融合能显著提高性能。总的来说， 模型级融合相较于决策级融合和特征级融合最大的优势在于可以灵活地选择融合的位置。
模型级融合主要策略：通过构建深度网络模型，建立多层结构，逐层学习可以学习到更加复杂的变换，从而可以拟合更加复杂的特征，增加非线性表达能力。
【 举例】
Zhang 等[67] 提出一种充分利用深度神经网络强大的特征学习能力的混合深度学习模型，将视听数据经 卷积神经网络 (CNN) 和 3DCNN 产生视听片段特征，然后将视听片段特征融合到 深度置信网络中，联合学习了一种视听特征表示，在情感识别任务上比先手工特征再深度学习融合方法表现得更好。
多模态混合形式
; 论文[1] 基于深度学习和脑电信号的情感分类方法研究 方法：DBN
结合EEG的同时有效利用EOG、EMG生理信号对情感分析作进一步的提高，尝试利用三种信号对情感进行分类。
- EEG信号特征提取：ResNets-50网络，可以减轻消失梯度的问题，用于学习数据中更深刻的语义信息。
- EOG、EMG信号特征提取：梅尔频率倒谱系数（MFCC），常用于语音识别。
多模态数据的融合方式：从定义上理解，多模式融合是指两个或两个以上模态的集成，以便改善系统的性能。在对于选择多种模态的信息来进行融合时，按照不同的融合时期，可分为早期融合、中期融合以及晚期融合。
- 早期融合：从不同模态获得的特征需要在将它们馈送到学习阶段之前，以单个模态的组合来表示。
- 中期融合能够处理不完美的数据以及不同模态之间的异步问题，从而提高数据的可靠性。
- 后期融合，也称为决策级融合，是基于模态的语义信息。多模式数据处理的主要问题是数据应该单独处理，并且只应在最后组合，讨论了一般的融合架构和模态的联合处理。
本文选择了 基于DBN的中期融合方式，模型况下如下图所示：
原始EEG信号首先以不同的方式对ResNet-50和MFCC进行 预处理，然后从预处理的EEG信号中提取MFCC和ResNet-50特征并通过DBN进行融合。最终，所有融合的特征被输入到分类器中以识别情绪。
对于 分类，使用4种不同的分类方式来对经ResNet-50网络和MFCC网络提取出来的特征，这四种分类方式分别为：KNN，支持向量机(SVM)，朴素贝叶斯(NB)和具有3个密集层和2个丢失层的完全连接的神经网络(FC)。
论文[2] 基于多生理信息融合的驾驶疲劳检测方法研究 方法：DBN+SVM 2018
本文通过开展室内模拟驾驶实验同步获取驾驶员行驶过程中 脑电、肌电及心电信息，基于动态特征提取方法分别获取三类生理信号的多层次时域及频域特征，通过多源特征融合及模式识别实现疲劳状态的有效辨识，进而实现从精神和行为层面对驾驶员疲劳状态的有效监测和评估。主要工作包括：
(1) （2）（3）预处理
(4) 进行多生理信号特征级融合及降维处理，采用 支持向量机分类器进行驾驶疲劳检测；同时为提高识别的准确性，提出基于深度信念网络的驾驶疲劳检测方法，采用深度信念网络模型对多生理信号进行特征融合以及疲劳状态检测，并对两种分类模型的疲劳检测效果做出对比分析。
算法流程：
- EEG、EMG和ECG信号特征融合
- PCA融合特征降维、去除冗余信息。针对实验采集的所有生理信号进行特征提取后，组成的共计 120 组特征样本，按 PCA 降维方法，将所有样本特征作为 PCA 算法的输入矩阵，通过 PCA 变换得到主成分空间， 设定累积贡献率阈值为 95%，得到降维后特征集。
- DBN深度置信网络特征分类。该方法通过多层神经元进行能量传递，训练其神经元间的权重，可以使整个神经网络按照最大概率生成特征数据。
论文[3] 融合EEG-EMG生理信号的人机协作装配意图识别方法研究 方法：SVM+D-S
为提高人机协作(HRC)装配的柔顺性，需要对人的协作意图进行识别，从而引导协作机器人更好的辅助工人完成装配作业。针对人机协作装配场景下基于单源生理电信号识别协作意图准确率不高、稳定性不好的问题，首先采用支持向量机方法（SVM）分别从 EEG 脑电和 EMG 肌电信号识别单源协作装配意图，然后采用 D-S 证据理论对多源协作装配意图识别结果进行融合，提出了一种融合EEG-EMG 生理信号的人机协作装配意图识别方法。实验结果表明所提方法可以有效提高人机协作装配意图识别的准确率和稳定性。
; 论文[4] 基于GA-BP网络的脑电与心电融合疲劳识别算法研究 方法：GA-BP
针对脑电信息在识别疲劳时不能完全反应疲劳状态和传统 ＢＰ神经网络识别率低的问题，提出了一种基于改进 ＧＡ－ＢＰ神经网络的脑电信号与心电信号融合的疲劳识别算法，运用到单兵精神疲劳状态的预测。
首先，利用无线数据采集装置进行脑电和心电的数据采集．然后，对生物电数据进行伪迹去除和噪声滤
波的数据预处理，利用小波包变换和 Ｐａｎ－Ｔｏｍｐｋｉｎｓ算法分别对脑电和心电数据进行特征提取，再将高维特征数据进行 ＰＣＡ 降维来加快网络的学习速度．最后，将遗传算法优 化 后 的 改 进 ＢＰ神经网络参数作为其初始权重和阈值进行疲劳预测．疲劳实验对３０位受试者的疲劳状态进行了识别预测，结果表明：融合 了 两 种生物电信号的改进 ＧＡ－ＢＰ 网络模型的识别正确率为 ９０．８％，优 于 传 统 ＢＰ 神经网络和支持向量机的识别率。
Original: https://blog.csdn.net/FelicityXu/article/details/122656094
Author: Lucy@IshtarXu
Title: 【文献调研】多模态生理信号的特征提取与特征融合
原创文章受到原创版权保护。转载请注明出处：https://www.johngo689.com/614723/
转载文章受原作者版权保护。转载请注明原作者出处！