贵州大学李少波获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉贵州大学申请的专利一种多模型融合知识蒸馏推荐模型获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN115481316B 。
龙图腾网通过国家知识产权局官网在2026-05-08发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202211069556.7,技术领域涉及:G06F16/9535;该发明授权一种多模型融合知识蒸馏推荐模型是由李少波;杨明宝;周鹏;王堃;张黔富;张钧星设计研发完成,并于2022-09-01向国家知识产权局提交的专利申请。
本一种多模型融合知识蒸馏推荐模型在说明书摘要公布了:本发明公开了一种多模型融合知识蒸馏推荐模型,包括集成学习模块和学生模块,集成学习模块使用全连接层将DeepFM模型、DIN模型和MMDIN模型的预测结果进行加权投票,得到最终的预测结果,其中,加权投票权重大小采用梯度下降法进行自适应调整,学生模块采用浅层DIN结构,使用软标签对学生模型收敛进行指导。本发明增加全连接层,对三个深度学习模型DeepFM、DIN、MMDIN模型的优点进行集成,并使用梯度下降法对全连接层参数进行更新。对模型的参数进行初始化,并对参数变化范围施加限制,使得集成模型更快更好得收敛并模拟各个模型进行投票的场景。
本发明授权一种多模型融合知识蒸馏推荐模型在权利要求书中公布了:1.一种多模型融合知识蒸馏推荐模型,其特征在于:包括集成学习模块和学生模块,集成学习模块使用全连接层将DeepFM模型、DIN模型和MMDIN模型的预测结果进行加权投票,得到最终的预测结果,其中,加权投票权重大小采用梯度下降法进行自适应调整,集成学习模块的输入和预测值传输学生模型进行训练,学生模块采用浅层DIN结构,使用软标签对学生模型收敛进行指导; DIN模型引入注意力机制,即,使用用户最近评分的5部电影分别与当前候选电影做外积并加权池化求得到用户最近兴趣点,原始的输入的稀疏特征,非数值型数据通过编码后,形成稠密的特征向量;然后,当前电影分别与最近5部电影求外积,然后连接起来进行PRelu和sigmoid激活,得到当前电影与最近评分的电影的相似度,并将该相似度加权到各个最近评分的电影上,做求和池化;最终与用户特征、场景特征连接起来,通过多层神经网络进行拟合表达,得到最终的打分结果; MMDIN模型在DIN的基础上,将物品的图片特征引入对用户打分进行预测,并且增加了多头机制,使得模型能够从不同的维度进行特征提取,分为多模态模块、注意力机制模块和多层神经网络模块;多模态模块负责对图片色彩特征进行提取;注意力机制模块负责从用户最近打分的物品中提取用户可能感兴趣的物品;多层神经网络模块采用Renset结构,同时多层神经网络中采用多头机制; 对全连接层的参数进行指定初始化、施加约束,并设定变化率对参数变化速率进行规定,参数计算方法如公式1所示: 1, 其中,V表示当前参数值,P表示上一个参数值,R表示变化率,Vmin表示参数限定的最小值,Vmax表示参数限定的最大值; 同时,设计新的激励函数,激励函数计算方法如公式2所示: 2, 其中,x是输入,y是输出,b是初始因子,k是正比调节系数; 新的激励函数使得各个子模型输出的定义域为[0,1]时,集成后的模型的输出值域也是[0,1],即最终的输出评分范围。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人贵州大学,其通讯地址为:550025 贵州省贵阳市花溪区贵州大学花溪北校区科技处;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励