买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉同济大学申请的专利基于重组样本学习的人-物交互动作识别方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116469170B 。

龙图腾网通过国家知识产权局官网在2026-05-05发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310441871.6，技术领域涉及：G06V40/20；该发明授权基于重组样本学习的人-物交互动作识别方法是由梁爽;庄子鲲;王颉文;谢驰设计研发完成，并于2023-04-23向国家知识产权局提交的专利申请。

本基于重组样本学习的人-物交互动作识别方法在说明书摘要公布了：本发明提供了一种基于重组样本学习的人‑物交互动作识别方法，具有这样的特征，包括以下步骤：步骤S1，将待识别图像进行特征提取和编码，得到全局特征向量和位置编码向量；步骤S2，将全局特征向量、位置编码向量和查询向量组输入人‑物对解码器，得到人‑物对特征向量组；步骤S3，将全局特征向量、位置编码向量和人‑物对特征向量组输入交互动作解码器，得到交互动作特征向量组；步骤S4，将人‑物对特征向量组和交互动作特征向量组输入前馈神经网络，得到人‑物对预测和交互动作预测；步骤S5，根据人‑物对预测、交互动作预测和Ni类人‑物交互，得到识别结果。总之，本方法能够提高人‑物交互动作识别的精度。

本发明授权基于重组样本学习的人-物交互动作识别方法在权利要求书中公布了：1.一种基于重组样本学习的人-物交互动作识别方法，用于根据包含Nq个随机初始化查询向量的查询向量组Qp和Ni类人-物交互对待识别图像进行识别得到识别结果，其特征在于，包括以下步骤： 步骤S1，将所述待识别图像输入卷积神经网络进行特征提取，再经由Transformer编码器编码，得到全局特征向量Xs和位置编码向量E； 步骤S2，将所述全局特征向量Xs、所述位置编码向量E和所述查询向量组Qp输入人-物对解码器，得到Nq个人-物对的特征向量作为人-物对特征向量组Rp； 步骤S3，将所述全局特征向量Xs、所述位置编码向量E和所述人-物对特征向量组Rp输入交互动作解码器，得到所述Nq个所述人-物对的交互动作特征向量作为交互动作特征向量组Ri； 步骤S4，将所述人-物对特征向量组Rp和所述交互动作特征向量组Ri输入前馈神经网络，得到人-物对预测和交互动作预测Yi＝{an,n∈{1,2,...,Nq}}； 步骤S5，根据所述人-物对预测Yp、所述交互动作预测Yi和所述Ni类人-物交互，得到所述Nq个人-物对的人-物交互预测结果作为所述识别结果， 其中，为第n个所述人-物对的人体边框，为第n个所述人-物对的物体边框，on为第n个所述人-物对的包含所有物体类别的预测置信度的物体类别置信度向量，an为第n个所述人-物对的包含所有动作类的动作类别置信度向量，y′n为第n个所述人-物对的人-物交互预测结果，un为第n个所述人-物对的预测物体类别，vn为第n个所述人-物对的预测动作类别，为第n个所述人-物对的最大置信度， 其中，通过包含多个训练图像及其对应的真实标签的训练样本、Ni类人-物交互和包含Nq个随机初始化查询向量的查询向量组Qp对包括所述卷积神经网络、所述Transformer编码器、所述人-物对解码器、所述交互动作解码器和所述前馈神经网络的模型进行训练，包括以下步骤： 步骤T1，从所述训练样本中随机选择训练图像I1和训练图像I2，将所述训练图像I1和所述训练图像I2输入所述卷积神经网络进行特征提取，再经由所述Transformer编码器编码，分别得到所述训练图像的全局特征向量和位置编码向量； 步骤T2，对每个所述训练图像，将所述全局特征向量、所述位置编码向量和所述查询向量组Qp输入所述人-物对解码器，得到Nq个人-物对的特征向量作为人-物对特征向量组； 步骤T3，对每个所述训练图像，将所述全局特征向量、所述位置编码向量和所述人-物对特征向量组输入所述交互动作解码器，得到所述Nq个人-物对的交互动作特征向量作为交互动作特征向量组； 步骤T4，对每个所述训练图像，将所述人-物对特征向量组和所述交互动作特征向量组输入所述前馈神经网络，得到人-物对预测和交互动作预测，将所述人-物对预测和所述交互动作预测直接组合，得到人-物交互预测； 步骤T5，对每个所述训练图像，根据匈牙利算法将所述人-物交互预测与所述训练图像对应的所述真实标签进行匹配，得到最准确人-物交互预测； 步骤T6，根据所述两个训练图像的所述最准确人-物交互预测，得到对应的最准确人-物对特征向量和最准确交互动作特征向量，对所述最准确人-物对特征向量和所述最准确交互动作特征向量进行交叉重组或内部重组，得到重组人-物交互特征向量组，输入交互动作分类前馈网络，得到重组人-物交互预测，并对所述两个训练图像对应的所述真实标签进行重组，得到重组真实标签； 步骤T7，根据所述两个训练图像的所述最准确人-物交互预测和所述真实标签，以及所述重组人-物交互预测和所述重组真实标签计算损失函数，根据损失函数计算结果对所述交互动作解码器的参数进行优化； 步骤T8，重复执行所述步骤T1至所述步骤T7，直至所述训练样本中所有所述训练图像均对所述模型的参数进行优化，则所述模型训练完成， 第k个所述训练图像的所述最准确人-物交互预测为第k个所述训练图像的第n个所述人-物对的最准确人-物交互预测，为第k个所述训练图像的第n个所述人-物对的最准确人体边框，为第k个所述训练图像的第n个所述人-物对的最准确物体边框，okn为第k个所述训练图像的第n个所述人-物对的最准确物体类别置信度向量，akn为第k个所述训练图像的第n个所述人-物对的最准确动作类别置信度向量，为第k个所述训练图像中人-物交互实例的真实数量。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人同济大学，其通讯地址为：200092 上海市杨浦区四平路1239号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。