第27卷第2期 计算机应用研究 Vol_27 No.2 2010年2月 Application Research of Computers Feb.2010 嵌入卡尔曼预测器的粒子滤波目标跟踪算法 王月领,王让定 (宁波大学纵横智能软件研究所,浙江宁波315211) 摘要:针对经典的粒子滤波视频目标跟踪算法进行粒子传播采用随机游走的方式,以及传统颜色直方图无法 反映目标空间特征的问题,提出了一种改进的基于颜色的粒子滤波目标跟踪算法。该算法在统计目标二阶颜色 直方图的基础上,获得粒子的观察概率密度函数,利用卡尔曼滤波确定粒子动态传播模型中的确定性漂移部分, 使粒子状态估计值分布更精确地趋向目标的概率分布,大大提高了粒子的利用效率。实验表明,该改进算法的 性能优于经典基于单一颜色特征的粒子滤波算法。 关键词:颜色直方图;粒子滤波;卡尔曼预测;目标跟踪 中图分类号:TP309 文献标志码:A 文章编号:1001.3695(2olo)o2—0468—40 doi:10.3969/j.issn.1001-3695.2010.02.017 Particle filter and embedded in Kalman predictor for target tracking WANG Yue—ling,WANG Rang・ding (CKC Software Laboratory,Ningbo University,NingboZhc'iang 315211,China) Abstract:The standard color particle filter spreads each particle with random walk method for traget tracking.The traditional color histogram is used that can not reflect the characteristics of the target space.This paper proposed a novel color-based par- ticle filter target tracking algorithms.The second—order color histogram was applied to get the observation of particle probability density function.In addition,used the Kalman filter to determine the spread of particle dynamic model of the uncertainty in the dritf of the state.The distribution of particles was more accurately close to the probability distribution of the traget,thus the use efficiency of particles was greatly improved.Computer simulation results demonstrate that the proposed algorithm is more robust as compare to the traditional color-based particle filter tracking algorithm. Key words:color histogram;particle iflter(PF);Kalman predictor;traget tracking 视频对象跟踪技术是计算机视觉领域中一个重要的研究 跟踪算法。首先利用Kalman滤波器以低廉的计算成本初步进 课题,它广泛应用于监视、伺服、视频压缩等领域…。目标跟 行目标跟踪定位,并以此初步跟踪结果确定粒子滤波动态模型 踪问题实质上是在连续的时间序列中找到用户感兴趣的目标, 中的确定性漂移部分;然后只需加入一个较小的随机扩散噪声 而目标可以由自身状态(位置、大小等)来描述,因此跟踪问题 就能完成粒子的高效传播;最后在基于颜色特征的粒子滤波跟 也就等价于对目标状态变量的后验概率分布的求解。根据贝 踪算法框架中对观察模型仅包含颜色信息的前提下,融入目标 叶斯概率模型,后验概率分布可以通过状态的先验分布和状态 像素的均值向量和协方差,可增强目标的空间特征。目标跟踪 与观测的似然函数来确定。近年来,随着计算机性能的提高及 仿真实验表明了,其较采用传统单一颜色特征的粒子滤波跟踪 成本的下降,粒子滤波(PF)已经成为研究非线性、非高斯动态 算法…在可靠性、准确性方面有一定的提高。 系统最优估计问题的一个热点和有效方法 J,经Isard等人 引入到计算机视觉领域就迅速成为一个重要的研究方向,人们 1粒子滤波算法 竞相对粒子滤波目标跟踪中存在的问题进行了深入研究与改 视频序列的跟踪问题可以看做是一个动态系统的状态估 进 “ 。粒子滤波的性能在一定程度上也取决于粒子的动态 计问题。粒子滤波对复杂环境下目标的状态估计非常有效,它 传播方法,这实际上就是粒子滤波中重要性采样函数的设计选 能够为运动状态估计提供一种概率框架。粒子滤波的主要思 择问题。目前传统的基于单一颜色特征的粒子滤波跟踪算 想是:用一组具有权值的粒子来完全地描述后验概率分布。根 法 用先验转移概率难以有效进行粒子传播,仅采用随机游走 据蒙特卡罗理论,当粒子的数目足够多时:这组具有权值的粒 的方式来完成粒子传播,这样会使粒子采样点过于分散,导致跟 子就能完全地描述后验概率分布,此时,粒子滤波就是最优的 踪性能下降。同时仅采用一阶颜色直方图作为粒子观察模型的 贝叶斯估计。 一个线索无法反映色彩分布的空间信息 ,颜色信息容易被复 设 ={ :0,…,k}和y : :{),f, =0,…,.j}f分别表示 杂背景干扰,外观不同的图像可能具有相同的直方图。解决这 各个时刻的系统状态和观测状态,{埘:,i=0,…,Ⅳ}表示i时刻 些问题的办法就是包含更多描述目标特征的信息。 本文提出了一种嵌入卡尔曼预测器的粒子滤波视频目标 所对应粒子 ,i:0,…,J7、r}的归一化权值,其中∑ :=1。粒 收稿日期:2009—06—19;修回日期:2009—08—03 基金项目:国家自然科学基金资助项目(60672070,60873220);浙江省自然科学基金资 助项目(Y108022) ・ . 作者简介:王月领(1984一),男,安徽宿州人,硕士研究生,主要研究方向为视频目标检测与跟踪(wangygmin@yahoo.corn.c'n);王让定(1962.), 男,甘肃秦安人,教授,博士,博导,主要研究方向为信息隐藏、数字水印、视频监控. 第2期 王月领,等:嵌入卡尔曼预测器的粒子滤波目标跟踪算法 ・469・ 子滤波就是用{ : , ;} ,来完全描述后验概率密度分布 p(x。:^lyⅥ)。文献[5]提出了对p(x。: IY。:^)进行重要性采样 的方法。假设存在重要性分布函数仃( )满足P( ) 7r( ), 并且可以很方便地从仃( )中进行取样,根据贝叶斯理论,有 (X0: lyl: ):7r(x ̄Ixo: —l, : ) ̄r(Xo: 一1 I : —1) (1) 给目标中的像元分配权值。由于跟踪目标受到背景和一些遮 挡的影响,周边的像元可靠性低,离中心越远的像元分配的权 值越小,即位于目标中央的区域贡献最大,这样处理可以提高 估计值的鲁棒性。通过式(9)建立目标颜色直方图为 这样,就能很容易地对系统状态进行估计,权值的递推方 程可以写成 p :厂主 ( )6[^(Xi)一n] (9) 其中 为归一化系数;p: 表示以Y为中心点的第tt阶直方图 的权值;N表示区域内的像素个数;k(・)为Epanechnikov Ker・ nel; 为区域内任意一点;Il 一Y Il为 到Y的距离; [・]为 一。。 —— : _= -lp(‘yk lxfi ’t ) (2)) 那么,在 时刻的后验概率密度可以近似地表示为 单位冲激函数,判断/7,是否为当前像素;h( )为Xi所对应的颜 p(xo: ly )一∑ ”6( 0: — 罐) (3) 色空间的色阶;^为当前窗口的带宽,本文取运动目标矩形框 其中: (・)为冲激函数,粒子的权值加 。满足 1,因此利 用加权准则可确定视频序列中感兴趣运动目标的最终位置为 = ×1lJ (4) 2本文算法 2.1 包含卡尔曼预测器的粒子动态传播模型 在基于传统单一颜色的粒子滤波算法中 ,粒子的传播 是利用先验转移概率p(x fx )完成的,也即通过一阶或二阶 AR动态模型进行粒子传播。举例来讲,对于一阶AR模型,即 f=Axf1+Bw‘一l (5) 其中: 为目标在£时刻的状态;随机数 一。∈[0,1]是归一化 噪声量;A、B为常数,B为粒子传播半径。对于复杂的运动目 标而言,很难用一个固定不变的A来描述Et标的确定性漂移 运动部分,因此一些跟踪系统消极地只保留运动模型中随机扩 散部分,即采用随机游走的方式来进行传播,难以有效解决粒 子的动态传播问题 】。如果在跟踪过程中对动态模型中的确 定性漂移部分作出较为准确预测,这将在很大程度上减少动态 模型的随机性,只需加入一个小的随机扩散便可完成粒子的传 播。为实现上述思想,本文在原粒子传播过程中嵌入一个低复 杂度的跟踪器Kalman滤波器” ,并用所得的初步跟踪结果计 算粒子动态传播模型中的确定性漂移部分。 Kalman预测器是一种递推估计器,无须考虑多个过去的 输入信号,而且每次递归运算时,只考虑前一个输入信号,便于 系统对信号的实时处理。在Kalman预测的基础上,很容易得 出从t一1帧到t帧的目标状态转移矢量为 Axf: I— l—l (6) 其中: 和 分别表示第t帧和第t一1帧中卡尔曼预测器所 给出的跟踪结果,进而可以把式(5)所示的AR动态模型改写 成下面的显性确定性漂移随机扩散的形式,即 :Axc_l+ fl+鼬 —l (7) 2.2 系统观测模型的建立 本文是在视频序列的RGB空间采用二阶直方图 建模 的方法来描述目标颜色特征,它比颜色直方图包含更丰富的目 标信息,使用了基于核函数的目标跟踪中提到的核函数 的 概念,选用加权彩色直方图作为目标模型。加权彩色直方图反 映了目标区域的全局统计特征,核函数选择了Epanechnikov Kernel。即 ( )={ ‘ 一 “ hx l li<。 l (8) 从式(8)可以看出,K是一个凸的单调下降函数,此函数 长宽的一半。 在目标跟踪中,被估计的目标状态在每进行一次观测就被 更新一次,并且合并到新的观测中去,因此,就需要一个基于颜 色分布的相似性测量。在相似性度量方面选择加权的Bhatta— charryya系数计算相似性: P [p,q]=∑∞ 、/P g(n) (1O) 其中:p [P,q】表示在y处建立的二阶直方图作为目标模型的 概率分布p…和预先建立的模板概率分布q(n)之间的相似程 度,p [p,q]∈(0,1)越大,相似性程度越高。 ∞6=叼exp{一.:1 ( 6(y)一 )T;l『 (p6(y)一 )} 为高斯核函数。在一阶颜色直方图中甜 :l,而在二阶直方图 中不为1;叩为高斯常数,其中∑ =(∑ (Y)+(∑ ) );/x 和∑ 分别为预先建立模板空间信息的均值和协方差矩阵。由 文献[13]可知,多元正态分布完全被式(11)和(12)得到的反 映目标像素空间特征的均值向量和协方差所决定,即 1 M p6(,,) 赢 暑( ・一y) ”(1t) 赢1 (( 一 t y))) (1 ) 其中:Ⅳ^表示区域内的像素个数;( 一 (Y)) 为矩阵( 一 (y))的转置;m表示颜色量化的阶数。两种分布之间的差距 定义为 d( )= l—P [P,ql (13) 统计量d(r)对目标尺度的变化不敏感,因此对于随机分 布密度很有效。如果感兴趣的那些样本的颜色分布与预先建 立的目标模型相似,较小的Bhattacharryya系数距离分配大的 权值。这样可以计算观察值的概率密度函数为 p(Zk ):去e一 : e- (14) 由式(2)可知粒子的权值更新为 1 {l一 P (I),g]) oc lp( I :订):埘 一I— =_e———— 一 (15) 0 E1Io 2.3算法实现 本文的算法是基于RGB空间二阶颜色直方图的粒子滤波 算法,嵌入卡尔曼预测器可以产生较为准确的粒子确定性漂 移,使粒子能较为精确地集中分布在状态的真实区域附近。具 体跟踪过程包括初始化、预测、更新和重采样,如图1所示。 算法一个迭代过程的具体描述如下: a)初始化 首先通过在目标周围感兴趣的区域手动选取一个矩形区 域,取一定量的粒子数Ⅳ,并赋予每个粒子的初始权值为1/N, 所有粒子的权值之和为1,每个粒子代表目标的一个可能的运 ・47O・ 计算机应用研究 第27卷 一. I—直方图分布l—r— l lf 否 —I —上竺兰I一 重采样I 。l计算目标 l态量(估计) lIJ嵌入卡尔曼l预测子状态传播H粒子权重卜器的粒I l I系统状态l观测计算I l- 后验概Il计算粒l子状态I l(预测) l l(更新)l l率 l图l跟踪算法框图 b)预测 系统状态转移,即粒子的传播,指的是目标状态时间的更 新过程。由于运动目标的自主运动趋势一般比较明显,粒子传 播可以是一种随机运动过程,一般采用一个较大的随机扩散噪 声矩阵,这样会使粒子分布过于分散,很大一部分粒子点对状 态的估计贡献很小,使得大量的计算浪费在对状态估计微不足 道的粒子点上,影响跟踪效果。因此,本文采用嵌入卡尔曼预 测器的方法,即式(7)进行粒子的动态传播。 c)更新 文中算法更新主要是目标模型的更新,考虑到目标有可能 会被暂时遮挡或受到与之具有相近特征的其他目标的影响,在 每一时刻,根据更新条件:丌 ]>仃,。其中:7r 】为粒子状态 [s]的概率分布归一化的权;仃,为目标模型更新的权重阈值,按 照式(17)进行目标观测模型的更新以克服目标状态的变化。 g =(1一a)q :{+。 (17) 其中:g 表示t时刻对应颜色空问第u个特征值更新后的目 标颜色模型;p 表示采集到 [.s]的对应第“个特征值的目 标模型; 为目标模型更新的权重。 d)重采样 当描述运动状态方程不是精确目标的运动情况时,粒子权 重的方差会随着时间的推移而不断增大,小权值的粒子对问题 的求解贡献很小,如果递推继续进行下去,大量的计算浪费在 这些小权值粒子上,显然是没有必要的。对退化程度的大小在 文献[14]中提出有效采样尺寸的概念,定义为 ^, N。Ⅱ=_— (18) l+VarLOJk, 其中: 为第i个粒子的真实权值,一般很难得到,通常采用 一种近似估计,即 : (19) 其中: 表示第i个粒子在第k次迭代的权值(式(2));Ⅳ为粒 ^ ^ 子数目。小的 意味着大的退化程度,减少^ 的最有效方法 是尽量增大采样的粒子数,但是粒子数的增加是以牺牲跟踪速 度为代价的,所以要采取有效的重采样方法减少粒子的退化现 ^ 象。本文通过当 小于一定的阈值时,运用折半查找法进行 重采样,同时重置每个粒子的权值为1/N。 3实验结果及分析 在本算法实验中,通过人机交互的方式对被跟踪目标进行 初始化。取粒子数为N=80,其权值初始值为1/N,所有粒子 的权值之和为1,每个粒子代表目标的一个可能的运动状态, 即目标的一个可能的位置,模型更新的权值 =0.2,计算目标 区域的二阶颜色直方图、初始化卡尔曼滤波器的状态值和误差 协方差阵。各个部分的参数设置如前所述,随后在跟踪过程 中,对每个粒子进行状态转移,更新粒子权重,所有粒子进行加 权以输出目标状态的估计值,然后进行重采样,转入下一帧。 为了验证本文提出跟踪算法的有效性,对不同视频序列进 行了实验。图2—6分别给出了8O个粒子点的标准基于颜色 粒子滤波算法和40个粒子点的本文粒子滤波算法。图2—4 的视频段共357帧,尺寸为320×240大小的室外拍摄序列,图 2和3中的矩形框表示跟踪结果。从给出的4帧可以看出,感 兴趣目标行人即使在发生运动方向改变即旋转一定角度和粒 子数目仅仅是标准粒子滤波算法一半的情况下,仍取得比标准 粒子滤波算法较好的跟踪效果。图4则给出了在跟踪过程中 目标估计位置区域和目标模板之问的相似程度,相似度值是在 0—1分布,相似度值越大代表了跟踪效果越好,在这个方面也 0 可以表征算法的精度。从图中可以看出,本文算法在采用较少 s!粒子数目的前提下相似度值同样达到标准粒子滤波算法的效 果,此时,平均跟踪耗时远低于标准粒子滤波算法,相似度函数 Bhattacharryya系数的变化很好地诠释了本文算法(PF+Kal- man)无论在跟踪目标的相似程度,还是在计算复杂度上都优 于粒子滤波经典算法(PF)。 (a)Originfl'mlleitll ̄C(b)178thframeirll ̄ge(a)Origin缸Imeillla ̄C(b)178thfla ̄eimage (c)181thfTal/leimage(d)3]lthframeimagc(c)181thfl',Btnlcimage(d)311thflameimage 图2颜色粒子滤波跟踪结果 图3本文算法跟踪结果 图4粒子滤波跟踪的Bhattacharryya系数变化曲线 图5、6是一段在户外拍摄的共222帧视频采样序列,选择 了117、127和128帧图片。该序列中跟踪的汽车颜色与其他 汽车颜色相近,周围不断地有其他运动汽车影响,在此条件下, 进行对目标的跟踪。从实验中可以看出,本算法在粒子数目减 半的基于颜色信息跟踪的同时,充分利用目标的空间结构特 性,在跟踪精度上优于传统的粒子滤波算法。另外,卡尔曼滤 波器实质上是一套递推线性滤波公式,费时少,而每次获取观 测值都是一步完成,计算量小,并且加入预测后,产生了较为准 O 0宕第2期 王月领,等:嵌入卡尔曼预测器的粒子滤波目标跟踪算法 ・47l・ 确的粒子确定性漂移向量,粒子的动态分布更能趋于在目标真 practice[M].New York:Springer,2001:9,19. 实状态区域附近,大大提高了粒子的利用效率,因此可以用较 [3]ISARD M,BLAKE A.Visual tracking by stochastic propagation of 少的粒子点完成目标跟踪,同时减少了计算负担,这比嵌入卡 conditional density[c]//Prco of the 4th European Conference on 尔曼滤波的耗时是微不足道的。 Computer Vision.Cambridge:[s.n.],1996:343—356. [4]DOUCET A,GODSILL S,ANDRIEU C.On sequentila Monte Carlo 一■■一 sampling methods ofr Bayesian iflteirng[J].Statistics and Compu‘ ting,2000,10(3):I97-208. [5]GORDON N J,SALMOND D J,SMITH A F M.Novel approach to (a)OriginfY'an]cimage(b)l|7thftaRloimage(a)Originh meimage(7o)117thfraal ̄image nonliBear/non—Gaussian Bayesian state estimation『J].IEEE Pro・ ■■■一 ceedings Fin Radar and Signal Processing,1993,140(2):107- ll3 [6]CHENG Chang,ANSARI R.Kernel particle for visual tracking[J]. (c)127th fl'aln ̄image(d)128th fla'fnc image ( ̄)127th ame image(d1128th me image IEEE Signal Processing Letters,2005,12(3):242-245. 图5颜色粒子滤波跟踪结果 图6本文算法跟踪结果 [7]NUMMIARO K,KOLLER—MEIER E,GOOL L van.An adaptive col- or—based particle filter[J].Image and Vision Computing,2003, 4结束语 21(1):99・110. [8]张笑微,师改梅,周建雄,等.结合颜色和结构信息的粒子滤波跟 本文在对传统的基于颜色的粒子滤波算法分析的基础上, 踪算法[J].光电工程,2008,35(10):1—6. 提出了嵌入卡尔曼预测器的粒子滤波跟踪算法,对视频中感兴 [9]高建坡,韦志辉,孟迎军,等.基于均值移动确定性漂移的改进 趣目标跟踪仿真,将仿真结果与经典基于颜色的粒子滤波算法 cONDENsA11ON人脸跟踪[J].光电工程,2009,36(2):137— 进行比较。结果表明,在非线性强的条件下,本文通过嵌入卡 142. 尔曼预测器的粒子滤波跟踪算法明显优于传统的基于颜色粒 [1O]Yu Dan,WEI Wei,ZHANG Yuan-hui.Dynamic target tarcking with 子滤波算法,也提高了算法的实时性。本文较强的跟踪特性, Kalman filter as predictor[J].Opto—Electronic Engineering, 为智能视频监控后续进行计算机高层次的分析提供了保障。 2o09,36(1):52-56. [1 1]BIRCHFIELD S T,RANGARAJAN S.Spatiograms versus histograms 但不能忽视粒子滤波固有的退化问题,而且随着粒子数目增 ofr region-based tarcking[C]//Proc of IEEE Computer Society Con— 加,系统时间复杂度呈现级数提高,还需要进一步研究。 ferenee off Computer Vision and Pattern Recognition.Washington 参考文献: DC:IEEE Computer Society.2005:l158一l163. 【1]PEREC P,VERMAAK J,BLAKE A.Data fusion for visual tracking [12]COMANICIU D,RAMESH V,MEER P.Real—time tracking of non— irnd objects using mean shift[c]//p ̄of 1EEE Conference on Com— with particles[J】.Proceeding of the IEEE,2004,92(3):495- puter Vision and Pattern Recognition.Piscataway,NJ:1EEE Compu- 5l3. ter Society,2000:142-149. [2]DOUCET A,FREITAS N D,GORDON N.Sequentila Monte Carlo in [13]边肇祺,张学工.模式识别[M].北京:清华大学出版社,1999. (上接第467页) 相同,加速度变化比较平缓,体现了ACC控制的舒适性。 100 70 昌60 6结束语 互90 瑙8O 斟70 孽; 仿真研究表明本文设计的汽车自适应巡航系统可变输出 30 0 10 20 30 40 50 60 70 论域模糊控制算法,可根据ACC当前工况期望加速度的大小 时间/s (a) 范围调节模糊控制算法输出论域,充分发挥了模糊控制器在整 30 。 个输出论域的控制优点,综合协调了ACC调节的舒适性与 £10 ACC控制安全性之间的关系。ACC典型工况仿真结果表明,该 0 控制算法同时满足ACC乘坐舒适性和保持安全车距的要求。 参考文献: [1]ZHOU J,PENG H.Range policy of adaptive cruise control ofr im— proved flow stability and stirng stbaility[C]//Proc of the 2004 IEEE International Conference on Networking.Sensing&Contro1.2004: 595.600. [2]ALFRED H,WERNER H,REINER D,et a1.Longitudinal automoHs 时I司/s 。vehicle control utilizing access to electronic throtlte control,automatic (e) 图5 ACC模糊控制器仿真结果 transmission and bmke[C]//Prco of SAE International Congress and 图5(a)~(e)分别为车速、车距、节气门开度、制动压力、 Exposition.t996:1405—141 1. 车辆加速度变化曲线。(a)中” 为主车车速, 为目标车速, [3]HERMANN W,HERBERT O.Major desing parameters of adaptive cruise control[C]//Prco of AVEC’98.1998:517—524. Vdes为期望车速;(b)中,d,为相对车距,d 为安全车距;(e)中, [4]DRIANKOV D,HELLENDORN H.An Introduction to fuzzy control a 为主车实际加速度,a 为ACC控制器期望加速度。从仿真 [M].Berlin:Springer—Verlag,1993. 曲线可看出,可变输出论域模糊控制器刚开始控制时,减速度 [5]张景波,刘昭度,马岳峰,等.信息融合技术在汽车安全行驶系统 达到了3.8 m/s ,与前车相对距离最小时超过了20 m,保证了 中的应用[J].系统仿真学报,2003,15(9):1208-1210. [6]吴利军.汽车ABS/ASR/ACC集成化控制系统仿真研究[D】.北 主车的安全性。之后的控制特性与限制加速度的模糊控制器 京:北京理工大学,2006.