买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉大连理工大学申请的专利一种多模态的模因图情感检测方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116563619B 。

龙图腾网通过国家知识产权局官网在2026-05-08发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310492921.3，技术领域涉及：G06V10/764；该发明授权一种多模态的模因图情感检测方法是由刘睿康;林鸿飞;杨亮设计研发完成，并于2023-05-05向国家知识产权局提交的专利申请。

本一种多模态的模因图情感检测方法在说明书摘要公布了：本发明公开了一种多模态的模因图情感检测方法，本发明对模因图数据进行了精细的数据预处理工作，并以VL‑BERT、UNITER、Villa这3种多模态预训练模型为基础，通过输入实体、人物特征信息，引入对抗训练，改进层次多标签分类的损失函数和分类头，对多模态预训练模型进行了改进。改进该模型在模因图情感检测任务和情感类型细分类任务上均有不错的效果，性能超过了实验中的所有多模态基础分类模型及其改进版本。

本发明授权一种多模态的模因图情感检测方法在权利要求书中公布了：1.一种多模态的模因图情感检测方法，其特征在于，包括步骤如下： 步骤1，清除模因图图像中的文本内容，得到模因图像A； 步骤2，采用训练好的FasterRCNN模型抽取步骤1的模因图像A的感兴趣区域的特征；当模因图像A包含多张子图像时，采用训练好的FasterRCNN模型先分离模因图像A中的多张子图像，再把每张子图像所在区域视为感兴趣区域，通过FasterRCNN的RoIPooling模块抽取出对应感兴趣区域的特征； 步骤3，识别模因图像A中的实体信息，若模因图像A包含多张子图像，则识别子图像中的实体信息；采用人脸检测器识别模因图像A中的人物特征信息，若模因图像A包含多张子图像，则识别子图像中的人物特征信息； 步骤4，基于VL-BERT、UNITER和Villa训练基础多模态分类模型,分类头采用多层感知机；通过训练VL-BERT、UNITER和Villa的base和large版本，为模因图情感检测任务和情感类型细分类任务各训练6个模型； 步骤5，改进步骤4的基础多模态分类模型，具体改进方案如下： 方案一，将步骤3的实体信息、人物特征信息以文本的方式输入步骤4的模型；为模因图情感检测任务和情感类型细分类任务各训练12个模型； 方案二，在步骤4中的VL-BERT的base版本的语言模态上加入对抗训练，在UNITER和Villa的base版本的语言、视觉、语言和视觉模态上加入对抗训练，为模因图情感检测任务和情感类型细分类任务各训练7个模型； 方案三，训练步骤4中的VL-BERT、UNITER和Villa的base和large版本时分别使用FL、ASL、NTR-FL和MC损失函数，为情感类型细分类任务训练24个模型； 方案四，训练步骤4中的VL-BERT、UNITER和Villa的base和large版本时分别使用MR-head和P-head分类头，为对情感类型细分类任务训练12个模型； 将步骤2的感兴趣区域的特征输入到所述改进方案得到的多模态分类模型，得到对应任务的检测结果。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人大连理工大学，其通讯地址为：116024 辽宁省大连市甘井子区凌工路2号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。