重庆邮电大学刘歆获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉重庆邮电大学申请的专利一种多摄像头的行为轨迹跟踪方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN116188538B 。
龙图腾网通过国家知识产权局官网在2026-05-08发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202211467537.X,技术领域涉及:G06T7/292;该发明授权一种多摄像头的行为轨迹跟踪方法是由刘歆;王心怡;钱鹰;万邦睿;陈奉;梁晋周;陈雪;柯礼灵设计研发完成,并于2022-11-22向国家知识产权局提交的专利申请。
本一种多摄像头的行为轨迹跟踪方法在说明书摘要公布了:本发明涉及一种多摄像头的行为轨迹跟踪方法,属于计算机视觉技术领域,包括以下步骤:S1:指定公共服务大厅多个摄像头,分别采集多个摄像头下服务区的坐标信息,将坐标信息与摄像头进行绑定;S2:结合目标检测模型和行人重识别模型对顾客轨迹进行跟踪,建立多个摄像头的顾客活动轨迹库;S3:计算多个摄像头下服务区与顾客目标检测框的IoU和深度图确认顾客是否到达服务区;S4:对顾客进入服务区到顾客离开服务区的行为进行识别;S5:构建多个摄像头下的顾客行为轨迹库,通过时间信息对齐,对行为进行筛选,得到顾客的行为轨迹。本专利通过在多个摄像头下跟踪顾客得到较为有效的顾客行为轨迹,可用于辅助公共服务大厅业务流程制定和划分。
本发明授权一种多摄像头的行为轨迹跟踪方法在权利要求书中公布了:1.一种多摄像头的行为轨迹跟踪方法,其特征在于:包括以下步骤: S1:标定多个摄像头并分别采集多个摄像头下服务区的坐标信息,将坐标信息与摄像头进行绑定; S2:结合目标检测模型和行人重识别模型对顾客轨迹进行跟踪,建立多个摄像头的顾客活动轨迹库;所述步骤S2具体包括以下步骤: S21:使用目标检测模型定位多个摄像头下顾客:根据一定的帧率,将服务大厅摄像头画面抽帧;用训练好的目标检测模型依次对多个摄像头监控视频进行识别,按指定步长采样得到摄像头下的帧画面以及与其对应的时间信息,其中记录采样帧画面的时间信息,表示总帧数;然后用目标检测模型依次在视频帧中检测出顾客,得到顾客目标检测框坐标信息,,其中表示第个顾客,1代表左上角坐标,2代表右下角坐标;将时间为的帧中检测出的所有顾客的位置信息集合表示为,其中表示第帧中的第个顾客的坐标信息,即该帧中共有个顾客的坐标信息‘’得到顾客坐标信息之后将其与帧和时间信息绑定,表示为; S22:建立顾客id集,根据顾客id集保存相同顾客的帧序列,形成活动轨迹集:按照S21中每帧图像中保存的顾客位置信息对其进行裁剪并输入到行人重识别模型PCB中,识别每个位置的顾客对应的id值并存入顾客id集中;若顾客id集中不存在该顾客,且不属于工作人员id,则表示该顾客为新出现顾客,赋予其新的id并保存至顾客id集中;若顾客id集中有该顾客的信息,则提取他的id作为轨迹跟踪的标识;将包含相同顾客id的帧画面按照S21中保存的时间顺序保存为该顾客的活动轨迹,表示为,其中,表示id值为的顾客,表示带有顾客的坐标信息和时间信息的帧画面;令的活动轨迹,遍历摄像头下所有顾客得到不同的活动轨迹,保存为顾客活动轨迹集,表示为,其中,表示顾客的活动轨迹,总共有个顾客; S3:计算多个摄像头下服务区与顾客目标检测框的交并比IoU,当IoU大于一定阈值时,利用深度图检测模型确认顾客是否到达服务区;所述步骤S3具体包括以下步骤: S31:在活动轨迹集中取出下顾客的活动轨迹序列,依次计算该顾客和服务区的目标检测框交并比IoU;顾客目标检测框A,服务区目标检测框B,则 从步骤S12和步骤S21中取出服务区和顾客的坐标信息,分别为,,,和,,,,=--,=--;∩形成长方形,的长=max{,}-min{,},的宽=max{,}-min{,},则=,根据的值,最终求出IoU值; 若IoU大于一个阈值,表示顾客目标框与服务区目标检测框重叠,则启动深度图检测模型,从顾客活动轨迹中筛选出顾客目标检测框与服务区目标检测框重叠的视频帧,保存该视频帧序列为; S32:将步骤S31中得到的顾客目标检测框与服务区目标检测框重叠的视频帧序列送入深度图检测模型Megadepth中检测,得到顾客和服务区上的每个像素点的像素值;该像素值表示该点距离摄像机的深度;顾客目标检测框内深度像素集合为{,,…,},其中表示顾客的第a个像素点的像素值;服务区目标检测框内深度像素集合为{,,,…,},其中表示服务区的第b个像素点的像素值; 使用绝对中位值偏差MAD对数据进行处理,最后得到优化后的顾客像素值集合为{,,…,},服务区像素值集合为{,,,…,}; S33:将步骤S32中优化后的顾客和服务区深度像素值集合分别求平均,再相减得到深度匹配值,;若深度匹配值小于某个阈值,则表示该顾客进入了该服务区; S34:在活动轨迹图集合中,删除深度匹配值大于的视频帧,表示顾客在该帧未停留在该服务区;优化后的活动轨迹图集合表示为,其中,表示当前顾客停留的服务区;当顾客的目标检测框与服务区无交集且深度匹配值mc大于K时,表示顾客未在此服务区附近或已经离开此服务区; S35:重复步骤S31-S34,继续对顾客进行跟踪,当顾客进入下一个服务区后将跟踪信息保存到顾客的活动轨迹集中; S4:使用行为识别模型对顾客进入服务区到顾客离开服务区的行为进行识别;步骤S4具体包括以下步骤: S41:训练行为识别模型,用于检测顾客行为:提取S34顾客在每个服务区的活动轨迹序列的坐标信息,根据坐标信息逐帧打标顾客行为;在训练时,提取打标帧的后63帧,将64帧作为一个视频集输入行为识别模型中训练;通过不同的采样频率在两个网络分支循环输入相同的64帧活动轨迹序列; S42:建立摄像头下的行为轨迹集合,利用训练好的行为识别模型Slowfast对顾客在某服务区的行为进行检测并计算顾客在该服务区停留时间,将得到的行为保存至活动轨迹集中从而形成行为轨迹集;行为轨迹集中包含第个顾客在某个服务区,顾客的行为,表示为,其中表示顾客在服务大厅中所有可能发生的行为,表示行为类别总数;获取步骤S34中得到的特定服务区下帧序列{},该帧序列通过64帧采样一帧的方式获取,所以一帧表示两秒,计算帧总数并乘以2保存为顾客在该服务区停留时间;加入时间信息的顾客在摄像头下的行为轨迹表示为,其中表示第个服务区,表示顾客所有可能发生的行为,表示顾客在服务区停留时间; S43:遍历所有摄像头的视频数据,重复步骤S41-S43,得到多个摄像头下的多个顾客行为轨迹集合,从而形成多个摄像头下的顾客行为轨迹库; S5:构建多个摄像头下的顾客行为轨迹库,通过时间信息对齐,对重复的行为进行删除,同一时间在不同摄像头下出现的不同行为根据优先级选择最终行为,从而得到顾客的行为轨迹;步骤S5所述构建多个摄像头下的顾客行为轨迹库,具体包括以下步骤: S51:对多个摄像头下的某位顾客行为轨迹建立联系:令某个顾客在单个摄像头下的行为轨迹为,即=;根据顾客id,将同一个顾客在多个摄像头下的行为轨迹集保存为行为轨迹库,即:,其中表示该顾客在第个摄像头下的行为轨迹; S52:通过时间信息对齐多个摄像头的顾客行为轨迹:获取到多个摄像头下同一个顾客的行为轨迹后,查询S22中下顾客的信息:,得到顾客到达该服务区的时间,将该时间加入顾客行为轨迹中得到;将顾客的行为轨迹通过时间顺序依次进行比对,去掉重复的行为;其中,当某个顾客在同一时间不同摄像头识别出不同的行为时,选取优先级最高的行为作为最终的行为。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人重庆邮电大学,其通讯地址为:400065 重庆市南岸区黄桷垭崇文路2号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励