视频监控系统现状的协同跟踪研究

46
发表时间:2018-08-02 15:17

视频系统跟踪的主要应用场景是监控视频系统中人员目标的接力跟踪,分为重叠场景下的接力跟踪和非重叠场景下的接力跟踪。即便是具体到重叠场景下的人体目标的跟踪,仍然面临着很多难题。主要的难题有:人体运动是非刚体运动;物体三维影射到二维时深度信息的丢失;视频中人体影像自遮挡和被遮挡;背景的不断变化;光照变化;运动模糊;前景检测提取不完整及误检;人体模型初始化和更新等问题,由于存在诸多的客观因素,使得人体目标跟踪仍有很大的技术挑战性。

1、人体的非刚体运动

人体运动相对其他运动比较复杂,它是由骨骼驱动,带动复杂的关节运动,相当于是多个复杂的刚体运动一起构成。再加上人穿着衣物柔软可变形,导致在视频跟踪过程中,很难建立模型来模拟人体运动。尤其是在风的吹动下,衣服将会随风飘动,而且人们还有可能手持雨伞或肩挎背包,所有这些不可预知的复杂因素都决定了真实世界中的人体运动是高度复杂的非刚体运动动分析方法来解决复杂的人体运动。这给人体目标跟踪带来了很大困难,所以必须研究新的非刚体运。

2、三维投影到二维引起深度信息丢失

将真实世界中的三围物体投影到二维图像中将会丢失深度信息,这是在计算机视觉里必须面对的困难,尤其是在基于单摄像机人体目标跟踪过程中。很多研究者用多个摄像机对准一个场景进行拍摄,得到多个角度的拍摄画面,试图将三维信息重建出来,避免摄像机成像过程中深度信息的丢失。但是,这种方式不仅提高了成本,最关键的是,如何对多个同步视频进行有效合理的融合仍是一个很难解决的问题。

3、遮挡和自遮挡

由于视频人体目标跟踪过程中所应用的环境是比较复杂的,很可能被周围的物体部分遮挡或者全部遮挡以及人体的自身遮挡。由于遮挡现象的存在,使得人体部分信息会丢,或者造成颜色改变,经过抽象得到的人体模型同完整的人体模型不符合。

4、背景的运动变化

在实际环境中,视频跟踪的背景一般是实时变化且相对复杂的,比如,背景中的物体随着风力来回摇摆,雨雪天气等,给背景重建造成困难,人体目标跟踪也有很大挑战性。小范围内的动态背景目标随机移动和定向漂移,使得同一像素位置上不同物体会出现混淆。例如,湖面反光,树叶随风摇摆,在不同的时刻会出现像素叠加,在图像的同一位置出现树枝、树叶、天空等的叠加存在。

5、光照变化和运动模糊

外观变化会随着光照条件不同而起变化,分为渐变、突变和随机干扰等情况。大自然环境中日夜更替、四季轮回、乌云遮挡太阳等都会造成物体目标的色彩发生变化,另外,在跨摄像机跟踪的应用中,拍摄点不同会引起光照不同,有的在阴暗处,有的在室内,有的在炎炎烈日下,有的在窗口处等?;肪车墓庹仗跫谷颂宓难丈畔⒎⑸浠?给人体的目标跟踪也带来了很大的困难。人体运动速度很快时,摄像机的拍摄速率有限,获取到的视频中运动图像模糊不清,也给人体的运动分析造成困扰

6、人体模型的自动初始化及更新问题

人体模型初始化问题仍然是人体目标跟踪过程中的比较棘手的问题。自动初始化人体颜色模型利用计算机自动将单个人体目标在背景中提取出来。在真实的场景中,情况还是比较复杂的。例如,一群人进入某个场景,恰好同出来的人群发生遮挡;在太阳光太耀眼时,人体的阴影很长,以及由于遮挡部分人体信息丢失,这些都给自动初始化带来很大的难题。不能得到完整的初始化信息,或者带很多噪声,则跟踪效果一定很不好。所以如何自动地将一群人、发生遮挡的人、带有阴影的人等情况有效地分割与识别仍需要继续研究与探索。另外,在人体跟踪的过程中,模型自动更新时也会加入噪声信息,或者丢失人体的部分信息,如若不更新模型,那么光照条件发生变化,当前人体模型会与初始化模型产生偏差。综合以上各种情况,现阶段大多数的基于视频的人体运动跟踪系统,已经依赖手动初始化人体信息模型,在后续的跟踪过程中,人体的颜色模型不再更新。这种方法尽管无法避免误差和噪声干扰,但是可以降低由于更新而产生人体目标误跟踪的问题。

7、前景检测不完整或误检测

随着时间变化,场景也将随之变动,前景与背景之间出现相互转换的情形。比如监视停车场变化的一段视频,有个车辆进入停车场后静止下来,然后从车辆中走出一些人,那么这里停下来的车必须马上变为背景,然而要将车辆变为背景还需要一段时间学习。视频进行更新背景模型还有背景与前景之间相互混淆的情况。其特点是,背景与前景颜色相似如穿着红色衣物的行人在红色装饰的环境下,很容易被判为背景的一部分,从而导致背景的局部出现错误变化。另外,前景阴影会造成把突变背景误判为前景,将阴影部分的背景误提取出来。

8、实时跟踪难度较大

人体目标跟踪里面涉及大量的图像数据信息,处理算法的复杂性很大,运算数据量也很大,这样,如何降低算法的复杂度和消耗的时间,是实现人体目标跟踪的一个重要难题科研工作者对人体目标跟踪中遇到的复杂问题进行了不同程度上的简化,将现实环境同人体进行了假设和约束,采用丰富的理论知识辅助解决跟踪中遇到的问题和困难。本文的枪球联动系统也是根据目前应用中的主要关注点进行了一些必要的简化和假设,比如说,在场景中同时出现多运动目标,我们的枪球联动跟踪策略是系统自动选取最近的目标进行跟踪,也可以人工选取目标进行跟踪。此外,我们的应用场景主要是考虑一些特殊时段重要场所的安保要求,比如核心办公区域、非开放日的大型展馆等,这些情况下环境光照变化不剧烈,人员运动相对缓慢,人体目标外观基本不变。本报告基于以上相对宽松的情况下开展应用研究,为其能在更复杂场景下的应用奠定了基础。

website qrcode
关注我们: