买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉南京大学申请的专利基于单目视频的多阶段人体动作捕捉方法、设备及介质获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116386141B 。

龙图腾网通过国家知识产权局官网在2026-05-08发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310329938.7，技术领域涉及：G06V40/20；该发明授权基于单目视频的多阶段人体动作捕捉方法、设备及介质是由王利民;田雅婷;武港山设计研发完成，并于2023-03-30向国家知识产权局提交的专利申请。

本基于单目视频的多阶段人体动作捕捉方法、设备及介质在说明书摘要公布了：基于单目视频的多阶段人体动作捕捉方法、设备及介质，对于固定相机情境下拍摄的单目RGB视频，将人体动作捕捉分为多个阶段：第一阶段使用人体姿态检测器对输入的单目视频逐帧估计二维的人体关节点；第二阶段利用深度学习来获取视频序列中的空间与时序信息，学习从二维的人体关节点到相机空间中的三维人体关节点的映射关系，并感知人体在三维空间中的运动轨迹和触地情况；第三阶段引入反向运动学思想，通过制定合理的惩罚策略，将三维的人体网格模型拟合到三维骨骼上，以更真实地刻画运动序列。本发明显著地提升重建出的人体模型与输入的RGB图像的对齐程度，并且更加真实地估计双脚与地面的接触情况，视觉上有明显的提升。

本发明授权基于单目视频的多阶段人体动作捕捉方法、设备及介质在权利要求书中公布了：1.基于单目视频的多阶段人体动作捕捉方法，其特征是对于固定相机情境下拍摄的单目RGB视频，将人体动作捕捉分为多个阶段：第一阶段对输入的单目视频逐帧进行人体姿态检测，估计二维的人体关键点，并构建三维人体模型SMPL的相机坐标系下的局部空间；第二阶段利用深度学习方法来获取视频序列中的空间与时序信息，学习从视频帧图像二维的人体关键点到相机空间中的三维人体关节点的映射关系，并检测感知人体在三维空间中的运动轨迹和触地情况；第三阶段根据反向动力学，通过制定惩罚策略，将三维的人体网格模型拟合到三维骨骼上，以刻画运动序列，实现动作捕捉； 第一阶段通过预处理模块实现数据预处理，对单目视频逐帧检测二维的人体关键点，并对二维人体关键点序列归一化，另外将三维人体模型SMPL的24个关节点的坐标由世界坐标系转换到相机坐标系，并以根节点为基础，将其他关节点转化为相对于根节点的相对坐标，构建局部空间；同时，通过聚类方法对左右脚关节点高度进行聚类以估计地面的高度，生成左右脚关节的触地标签；第二阶段通过相机校正模块、人体姿态估计模块、人体轨迹估计模块进行姿态估计，人体姿态估计模块用于估计三维人体关节点在局部空间中的位置，根据二维人体关键点序列得到三维人体姿态序列，相机校正模块基于单目视频获取相机的内参和外参，用于获得视频的视角，人体轨迹估计模块用于预测在相机坐标系下的人体位移和触地情况，根据二维人体关键点序列和相机内外参得到三维人体轨迹序列和触地概率；第三阶段通过模型拟合模块，基于反向动力学，综合三维人体姿态序列、三维人体轨迹序列和触地概率进行拟合，获得三维人体模型运动序列； 其中，模型拟合模块根据预测得到的三维人体姿态序列、三维人体轨迹序列和触地概率，分步骤迭代优化出人体网格模型的形状参数和关节旋转量，并赋值给参数化三维人体模型以得到真实的驱动结果，分为四个步骤，具体如下： S51迭代拟合三维人体形状参数：进行实时动作捕捉时，人体的骨骼长度动态更新，视频帧输入人体姿态估计模块估计得到三维关节点坐标，计算得人体的各骨骼长度，记基于过去帧的人体骨骼长度的估计值为，在人体姿态估计模块估计计算出基于当前帧的估计值后,对进行更新，更新规则为：，其中，将作为最新的人体骨骼长度，以供三维人体模型拟合阶段使用； 通过人体模型的三维关节点位置得到骨骼向量，将视为拟合目标，SMPL模型的形状参数为待更新的参数，损失函数定义如下： 其中，迭代后得到最终的拟合结果； S52计算全局旋转量：对应SMPL模型姿态参数中的，表示全局旋转量，以SMPL模型的三个关节点确定一个刚性结构，基于这三个关节点的初始位置和预测的位置求得一个旋转矩阵，使经旋转变换后得到的向量与预测的位置距离和最小，使得距离最小化的即为，用公式表述如下： 其中表示由三维旋转矩阵构成的三维旋转群，上述公式通过奇异值分解SVD得到闭式解； S53计算各关节的旋转量：三维人体模型中的父节点沿着人体运动骨骼链定义，记节点在三维人体模型的初始位置为，目标位置为，重建的模型中节点的位置为，记节点所在的骨骼向量为，姿态参数表示节点相对于其父节点的旋转量，则节点的绝对旋转量，首先将SMPL模型的根节点对齐，有；经过S52得到全局旋转量后，沿着三维人体模型的运动骨骼链从根节点向叶子节点移动，逐步计算每个节点的相对旋转量，若当前计算的节点为，重建后的节点的父节点的位置为，初始骨骼向量为，抵消父节点的旋转影响后得到目标骨骼向量为，记旋转轴为，旋转角度为，则,，通过罗德里格斯公式求得旋转矩阵： 其中表示单位矩阵，表示的反对称矩阵，则相对旋转量即为； S54基于检测的二维关键点和触地标签进行优化：经S51、S52、S53步骤求得的形状参数与姿态参数，得到SMPL模型，SMPL模型经过线性映射回归出三维坐标，再结合相机校正模块估计出的相机内参矩阵求出SMPL模型投影后的二维关键点坐标，本步骤结合归一化的二维人体关键点序列和人体轨迹预测模块预测的触地概率进一步对人体模型进行迭代优化，待更新的参数为姿态参数、姿态参数，损失函数定义如下： 其中，迭代得到最终优化后的结果。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人南京大学，其通讯地址为：210023 江苏省南京市栖霞区仙林大道163号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。