买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉西安电子科技大学;陕西汇智易知信息科技有限公司申请的专利一种基于自注意力机制融合的多模态情感识别方法、系统、设备及介质获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116564355B 。

龙图腾网通过国家知识产权局官网在2026-04-24发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310617199.1，技术领域涉及：G10L25/63；该发明授权一种基于自注意力机制融合的多模态情感识别方法、系统、设备及介质是由张文博;翟博文;刘龙;张梦璇;姬红兵;李林;臧博设计研发完成，并于2023-05-29向国家知识产权局提交的专利申请。

本一种基于自注意力机制融合的多模态情感识别方法、系统、设备及介质在说明书摘要公布了：一种基于自注意力机制融合的多模态情感识别方法、系统、设备及介质，方法包括：数据预处理；特征提取；特征融合；训练模型；任务迁移；系统、设备及介质：用于实现一种基于自注意力机制融合的多模态情感识别方法；本发明通过对比学习的方法来微调预训练模型，从而获得模态之间的相关性信息，并以自注意力机制进行特征融合，同时设计了三种不同的迁移函数，以此来适配不同的下游任务，在提升模型准确度的同时，提高了算法的迁移性和鲁棒性，使得模型的应用范围更广。

本发明授权一种基于自注意力机制融合的多模态情感识别方法、系统、设备及介质在权利要求书中公布了：1.一种基于自注意力机制融合的多模态情感识别方法，其特征在于，包括如下步骤： 步骤1，数据预处理：根据不同的迁移函数选择不同的时间序列，对多个模态的数据进行采样，并按照序列进行对齐，所述多个模态的数据包括文本数据中的文本信息、语音数据中的语音信息、视频数据中的姿态信息以及视频数据中的面部信息； 步骤2，特征提取：将步骤1预处理后的多个模态的数据分别输入对应的特征提取网络，进行特征提取，获取对应的特征向量； 步骤3，特征融合：采用自注意力机制模型对步骤2提取到的多个模态的特征向量赋予不同的权重，然后进行特征融合，得到归一化情感特征值； 步骤4，训练模型：利用对比学习机制对基于自注意力机制融合的多模态情感识别网络模型进行训练，重复步骤1-步骤4，优化提取到的特征向量，得到最优的基于自注意力机制融合的多模态情感识别网络模型； 步骤5，任务迁移：通过迁移模块对不同的下游任务进行迁移，根据绝对情感、相对情感和情感倾向三种不同的情感状态设置不同的迁移函数，以此来处理经过步骤4的基于自注意力机制融合的多模态情感识别网络模型训练后得到的归一化情感特征值，得到不同任务的情感值； 所述步骤5任务迁移的具体过程为： 步骤5.1：根据连续以及离散的情感分类划分三种情感状态，包括绝对情感、相对情感和情感倾向； 步骤5.2：根据三种不同的情感状态设置不同的迁移函数，以此来处理经过步骤4训练后得到的归一化情感特征值； 步骤5.3：将步骤5.2的结果输入Relu和全连接层得到不同任务的情感值； 所述步骤5中的迁移函数包括绝对情感迁移函数、相对情感迁移函数和情感倾向迁移函数，三种迁移函数可适配不同的下游任务； 所述绝对情感迁移函数为： 式中，表示中位数基值，表示序列内样本个数，表示第个样本，表示第个样本的value值； 所述相对情感迁移函数为： 式中，表示中位影响变化值，表示序列内样本个数，表示第个样本，表示第个样本的value值，表示第个样本的value值； 所述情感倾向迁移函数为： 式中，表示中位影响趋势值，表示序列内样本个数，表示第个样本，表示第个样本的value值，表示第个样本的value值。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人西安电子科技大学;陕西汇智易知信息科技有限公司，其通讯地址为：710071 陕西省西安市雁塔区太白南路2号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。