中南大学陈晓红获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉中南大学申请的专利基于联邦提示学习的多无人机矿山人员违规行为识别方法及系统获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN121600603B 。
龙图腾网通过国家知识产权局官网在2026-04-28发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202610132529.1,技术领域涉及:G06V40/20;该发明授权基于联邦提示学习的多无人机矿山人员违规行为识别方法及系统是由陈晓红;张宇航;胡东滨;蔡诚成;罗文杰设计研发完成,并于2026-01-30向国家知识产权局提交的专利申请。
本基于联邦提示学习的多无人机矿山人员违规行为识别方法及系统在说明书摘要公布了:本申请公开了一种基于联邦提示学习的多无人机矿山人员违规行为识别方法及系统,涉及矿山智能检测技术领域,包括:通过接收多架无人机上传的实时视频帧,利用轻量级目标检测模型快速定位人员边界框,并裁剪出人员区域图像。随后,将图像输入预设联邦提示推理模型,输出违规行为类别预测结果。当预测结果满足预设警报要求时,生成分级告警信息并发送至矿区管理终端指导安全处置操作,实现隐私保护下的跨矿区协同学习,提升模型泛化能力和实时性,降低新矿区部署成本,提高矿山人员违规行为识别效率与安全性。
本发明授权基于联邦提示学习的多无人机矿山人员违规行为识别方法及系统在权利要求书中公布了:1.一种基于联邦提示学习的多无人机矿山人员违规行为识别方法,其特征在于,所述方法包括: 接收多个无人机上传的实时视频帧; 通过轻量级目标检测模型对所述实时视频帧进行人员目标检测,得到人员边界框; 基于所述人员边界框从所述实时视频帧中进行裁剪,得到人员区域图像; 将所述人员区域图像输入预设联邦提示推理模型中,输出违规行为类别预测结果,其中所述预设联邦提示推理模型包括骨干网络、元学习网络模块、特征自适应调制器模块和类别文本提示融合模块,所述骨干网络包括图像编码器和文本编码器,所述特征自适应调制器模块基于所述人员区域图像的视觉特征得到域适配提示,所述类别文本提示融合模块将所述域适配提示与样本级元提示、类别文本提示进行动态加权融合实现跨模态语义对齐,所述样本级元提示用于捕捉所述人员区域图像中与违规行为相关的差别,所述类别文本提示是与预设违规行为类别一一对应的文本描述信息; 当所述违规行为类别预测结果满足预设警报要求时,生成分级告警信息发送至矿区管理终端,以使所述矿区管理终端执行对应安全处置操作; 所述将所述人员区域图像输入预设联邦提示推理模型中,输出违规行为类别预测结果的步骤之前,包括: 构建初始联邦提示推理模型并得到预设性能阈值和最大迭代次数; 加载所述初始联邦提示推理模型的图像编码器和文本编码器,冻结所述图像编码器和所述文本编码器的主体参数; 初始化全局基础提示参数并保持全程冻结,同时初始化元学习网络模块的第一初始参数、特征自适应调制器模块的第二初始参数和类别文本提示融合模块的第三初始参数; 将所述全局基础提示参数、第一初始参数、第二初始参数和第三初始参数作为全局参数下发至各矿区无人机客户端; 控制各所述无人机客户端基于本地矿区数据集提取样本图像的视觉特征,具体公式为: 其中,表示冻结主体参数后的图像编码器,表示本地矿区数据集中的第张样本图像,表示第张样本图像经编码后得到的初始视觉特征,其维度为,表示视觉特征,维度不变,用于后续的操作,表示向量的L2范数; 控制各所述无人机客户端基于所述视觉特征对所述第一初始参数、第二初始参数和第三初始参数进行两次阶段训练,得到第一优化参数、第二优化参数和优化本地可学习提示参数; 控制各所述无人机客户端基于所述第一优化参数和第二优化参数计算参数更新量,同时统计本地矿区数据集样本量并上传至服务器; 控制所述服务器根据所述本地矿区数据集样本量计算聚合权重,对所述参数更新量进行加权聚合得到全局更新参数,具体公式为: 其中为参与本轮聚合的所有客户端的数据总量,为客户端的聚合权重,满足是参与第轮联邦训练的客户端集,为更新后的第轮全局FAM调制器参数,为第轮联邦训练开始时,客户端从服务器下载的全局FAM调制器参数,为本地第二阶段训练产生的参数更新量,为更新后的第轮全局元学习网络参数,为客户端本地训练完成后的元学习网络参数,为第轮联邦训练开始时下载的全局元学习网络参数,为本地第一阶段训练产生的参数更新量; 控制各所述无人机客户端接收所述全局更新参数并更新所述初始联邦提示推理模型的参数,直至模型性能达到所述预设性能阈值或迭代次数达到所述最大迭代次数,得到预设联邦提示学习推理模型; 所述将所述人员区域图像输入预设联邦提示推理模型中,输出违规行为类别预测结果的步骤,包括: 获取预设联邦提示推理模型的全局基础提示参数和预设违规行为类别的类别文本提示; 对所述人员区域图像进行标准化处理,得到标准化图像数据; 通过骨干网络中的图像编码器对所述标准化图像数据进行特征提取,得到视觉特征; 将所述视觉特征输入元学习网络模块通过轻量级全连接网络动态生成样本级元提示; 将所述视觉特征输入特征自适应调制器模块对所述全局基础提示参数进行仿射变换,得到域适配提示; 将所述样本级元提示、所述域适配提示和所述类别文本提示输入类别文本提示融合模块进行特征融合,得到综合提示; 通过骨干网络中的文本编码器对所述综合提示进行编码,得到文本特征; 计算所述视觉特征与所述文本特征的相似度通过Softmax函数生成各类别概率分布,输出违规行为类别预测结果和对应置信度。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人中南大学,其通讯地址为:410000 湖南省长沙市岳麓区麓山南路932号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励