第３８卷 第９期 Ｖｏ１．３ ８ Ｎｏ．９ 西南师范大学学报（自然科学版） Ｊｏｕｒｎａｌ ｏｆ Ｓｏｕｔｈｗｅｓｔ Ｃｈｉｎａ Ｎｏｒｍａｌ Ｕｎｉｖｅｒｓｉｔｙ（Ｎａｔｕｒａｌ Ｓｃｉｅｎｃｅ Ｅｄｉｔｉｏｎ） ２０１３年９月 Ｓｅｐ． ２０１３ 文章编号：１０００—５４７１（２０１３）０９—０１０１—０５ 基于Ｋｉｎｅｃｔ的运动目标跟踪与三维测量① 谭 艳， 王宇俊， 李飞龙， 葛耿育 西南大学计算机与信息科学学院，重庆４００７１５ 摘要：首先利用微软Ｋｉｎｅｃｔ的图像传感器获得ＲＧＢ图像，并且利用ＣａｍＳｈｉｆｔ算法实时跟踪一个选中的目标物体， 然后获得该目标物体的质心，最后将该质心映射到Ｋｉｎｅｃｔ深度传感器获得的深度图像中，从而实时得到该运动目 标质心的三维坐标．实验结果表明，在目标与背景的色彩空间有一定偏差的情况下，该方法能够实时跟踪目标物体 并获得目标物体质心的三维坐标． 关键词：Ｋｉｎｅｃｔ；运动目标跟踪；三维坐标 文献标志码：Ａ 中图分类号：ＴＰ３９１ 目前，运动目标的跟踪是计算机视觉领域的一个研究热点，在安全监控、手势识别、智能交通以及未 知环境下移动机器人的视觉导航等领域都有非常广阔的应用前景．针对这些不同的应用领域，研究者提出 了众多的运动目标跟踪算法，总体上可以分为以下几种：基于区域的跟踪、基于特征的跟踪、基于变形模 板的跟踪和基于模型的跟踪４类ｌ＿】 ］．考虑到光照、运算速度的问题，本文选用了基于颜色特征信息的连 续自适应性均值漂移算法（ＣａｍＳｈｉｆｔ算法）来跟踪目标物体．运动目标物体三维信息的获取主要有激光测 距、单目视觉、双目视觉等方法，然而这些方法都有它们各自的缺陷：激光传感器设备价格昂贵，单目视觉 测量速度较慢，双目视觉计算过程复杂［４］．由于这些缺陷，本文利用了微软的Ｋｉｎｅｃｔ来获取三维信息，Ｋｉ— ｎｅｃｔ的输出是一个分辨率为６４０×４８０的ＲＧＢ图像和红外深度图像 ｊ，其深度测量技术是由ＰｒｉｍｅＳｅｎｓｅ 公司提供的光编码（１ｉｇｈｔ ｃｏｄｉｎｇ）技术，成本低且使用方便． 本文首先介绍了ＣａｍＳｈｉｆｔ跟踪算法，然后利用该算法获得ＲＧＢ图像中跟踪目标的质心，再将质心映 射到红外深度图像中，得到该质心的深度信息，最后实验表明，在目标与背景的色彩空间有一定偏差的情 况下，该方法能够实时跟踪目标物体并且得到物体质心的三维信息．该方法可以应用到移动机器人的导 航、避障，以及机械臂的移动物体抓取等实际问题中，因此本文方法具有一定的研究及应用价值． １ ＣａｍＳｈｉｆｔ跟踪算法 ＣａｍＳｈｉｆｔ跟踪算法主要通过视频序列图像中运动物体的颜色信息来达到跟踪的目的，它包括背投 （Ｂａｃｋ Ｐｒｏｊｅｃｔｉｏｎ）计算、均值漂移（Ｍｅａｎ Ｓｈｉｆｔ）算法和搜索窗口的更新 ．但是ＲＧＢ颜色空间对光照亮 度变化比较敏感 ，因此ＣａｍＳｈｉｆｔ算法首先将ＲＧＢ图像转换到ＨＳＶ色彩空间中，用Ｈ分量来表示颜色信 ① 收稿日期： ２０ｌ２—１１～２２ 基金项目： 家蚕基因组生物学国家重点实验室开放课题研究基金． 作者简介： 谭艳（１ ９８７一），女，重庆开县人，硕士研究生，主要从事计算机视觉的研究 通信作者： 王宇俊，教授． １０２ 西南师范大学学报（自然科学版） 第３８卷 息，然后进行后续处理． ＣａｍＳｈｉｆｔ跟踪算法的具体计算步骤如下 ： １）读人视频图像，将其他色彩空间的值转化到ＨＳＶ空间，计算出Ｈ分量的１Ｄ直方图． ２）根据获得的１Ｄ直方图将原始图像转化成色彩概率分布图像，即背投（Ｂａｃｋ Ｐｒｏ５ｅｃｔｉｏｎ）计算． ３）初始化搜索窗口的大小和位置（ ， ）． ４）计算此时搜索窗口内的质心位置．假设（ｚ， ）为搜索窗口中的像素位置，Ｉ（ｘ， ）为投影图中（ｚ， ）处的像素值．定义搜索窗口的零阶矩Ｍ。。和一阶矩Ｍｏ ，Ｍ 。分别如下： Ｍｏ。一∑∑Ｉ（ｘ， ） Ｍ 。＝：＝∑∑ｘＩ（ｘ， ） Ｍｏ 一∑∑ｙＩ（ｘ， ） 由此，可以计算出搜索窗口的质心： （ （ ， ） （２） （１） ５）调整搜索窗口的中心到质心位置； ６）判断是否收敛（窗口中心移动到质心的距离小于预设的固定阈值，或者达到设定的迭代次数）．如果 不满足收敛条件，则重复步骤４）直到收敛为止；如果满足收敛条件，则返回搜索结果并利用当前所得的中 心位置和区域大小作为新的搜索窗口进行下一帧的搜索． ２ 运动目标三维坐标提取 ２．１ Ｋｉｎｅｃｔ介绍 彩色ＣＭＯＳ红￣ＩｘＣＭＯＳ Ｋｉｎｅｃｔ是２０１０年１１月４日微软在北美正式发布 的Ｘｂｏｘ ３６０游戏机的一款廉价外设．实际上它就是 一个３Ｄ摄像头，由一个多阵列麦克风、一个ＲＧＢ摄 像头、一个单色的ＣＭＯＳ摄像头和一个红外发射器组 成（冈１），其中彩色ＣＭＯＳ产生彩色图像，红外发射 器和红外ＣＭ（）Ｓ产生深度图像． 基于Ｋｉｎｅｃｔ Ｘｂｏｘ的开发平台主要有微软的 Ｋｉｎｅｃｔ ｆｏｒ Ｗｉｎｄｏｗｓ ＳＤＫ Ｂｅｔａ和ＰｒｉｍｅＳｅｎｓｅ公司的 图１ Ｋｉｎｅｅｔ设备 红外发射器 ＯｐｅｎＮＩ，本文采用的开发平台是ＯｐｅｎＮＩ． ２．２ 三维坐标获取 首先根据ＣａｍＳｈｉ［ｔ算法获得了ＲＧＢ图像中运动目标的质心位置，然后再将Ｋｉｎｅｃｔ获得的ＲＧＢ图像和 红外深度图像进行视角修正，使得获得的质心位置在ＲＧＢ图像中与在红外深度图像中的像素位置相对应， 得到该质心在深度图像中的索引位置，从而获得该点在深度图像中的像素值，也即该点的深度值． （）ｐｅｎＮＩ求取深度值的方法是通过深度产生器节点得到深度映像，然后利用ｄｅｐｔｈ ｇｅｎｅｒａｔｏｒ的 ＣｏｎｖｅｒｔＰｒｏｊｅｅｔＴｏＲｅａｌＷｏｒｌｄ函数将投影坐标系的点转换到真实世界坐标系中 ，该函数的具体实现方法 如下 ： １）获得视角值，也即Ｋｉｎｅｃｔ在水平方向和垂直方向的视角； ２）计算深度映像图的宽度值ｗ、高度值Ｈ与距离ｄ的比值，如图２所示为真实世界坐标系，坐标原点 为红外ＣＭＯＳ的中心，Ｘ ｙ平面即Ｋｉｎｅｃｔ所在平面， ，卢分别表示水平和垂直视角的角度值，由此得到映 第９期 谭 艳，等：基于Ｋｉｎｅｃｔ的运动目标跟踪与三维测量 １０５ 参考文献： ［１３ 刘士荣，孙 凯，张波涛，等．基于改进ＣａｍＳｈｉｆｔ算法的移动机器人运动目标跟踪Ｉ－ｊ］．华中科技大学学报：自然科学 版，２０１１，３９（Ｓ１Ｉ）：２２３—２２６ －６１７ ［２］ 侯志强，韩崇昭．视觉跟踪技术综述［Ｊ］．自动化学报，２００６，３２（４）：６０３－［３］ 苏虹，蔡自兴．未知环境下移动机器人运动目标跟踪技术研究进展［Ｊ］．华中科技大学学报：自然科学版，２００４， ３２（ＳＩ）：２４ ２７． ［４］ 孙宇臣，葛宝臻，张以谟．物体三维信息测量技术综述［Ｊ］．光电子・激光，２００４，１５（２）：２４８—２５４．ｎｅｃｔ系统的场景建模与机器人自主导航［Ｊ］．机器人，２０１２，３４（５）：５８１—５８９ ［５］ 杨东方，王仕成，刘华平，等．基于ＫｉＣＩＵ Ｄ，ＲＡＭＥＳＨ Ｖ，ＭＥＥＲ Ｐ．Ｒｅａｌ—Ｔｉｍｅ Ｔｒａｃｋｉｎｇ ｏｆ Ｎｏｎ—Ｒｉｇｉｄ Ｏｂｊｅｃｔｓ Ｕｓｉｎｇ Ｍｅａｎ Ｓｈｉｆｔ［Ｃ］／／Ｐｒｏｃ ＩＥＥＥ ［６］ ＣＯＭＡＮＩＣｏｎｆ ｏｉｌ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ．Ｎｅｗ Ｙｏｒｋ：ＩＥＥＥ Ｐｒｅｓｓ，２０００：１４２—１４９． Ｅｆｆｅｅｔｓ ｏｆ ｃａｐｔｕｒｅ Ｃｏｎｄｉｔｉｏｎｓ ｏｎ ｔｈｅ ＣＡＭＳＨＩＦＴ Ｆａｃｅ Ｔｒａｃｋｅｒ［Ｒ］．Ａｌｂｅｒｔａ：Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｃａｌｇａｒｙ， Ｅ７］ ＢＯＹＥ Ｍ．Ｔｈｅ２ＯＯ１． ｆｔ目标跟踪算法ＥＪ］．光电工程，２０１０，３７（１）：５５—６０． ［８］ 邬大鹏，程卫平，于盛林．基于帧间差分和运动估计的ＣａｍＳｈｉｎｅｃｔ＋ＯｐｅｎＮＩ的深度值［ＥＢ／ＯＩ ］．（２０１１ ｌ２ ２７）［２０１２ ０９ ２７］．ｈｔｔｐ：／／ｖｉｍ１．ｎｃｈｃ．ｏｒｇ．ｔｗ／ ［９］ ＨＥＲＥＳＹ．Ｋｉｂｌｏｇ／ｐａｐｅｒ—ｉｎｆｏ．ｐｈｐ？ＣＩ ＡＳＳ ＩＤ＝ｌ＆ＳＵＢ ＩＤ＝ｌ￣ＰＡＰＥＲ—ＩＤ＝２７８． ＯＰＥＮＳＯＵＲＣＥ．Ｋｉｎｅｃｔ运用ＯｐｅｎＮＩ产生点云［ＥＢ／ＯＩ ］．（２０１２—０７—３１）［２ｏ］２—０９—２７］．ｈｔｔｐ：／／ｂｌｏｇ．ｃｓｄｎ．ｎｅｔ／ ［１０］ ｏｐｅｎｓｏｕｒｃｅＯ７／ａ ｒｔｉｃｌｅ／ｄｅｔａｉｌｓ／７８Ｏ４２４６． ＢＥＮ Ｇｕｏ ｈａｉ．实测ｋｉｎｅｃｔ深度传感器参考数据［ＥＢ／ＯＩ ］．（２０１１—１—２６）［２０１２－－０９—２７］．ｈｔｔｐ：／／ｗｗｗ．ｃｎｋｉｎｅｃｔ． ［１１］ ｃｏｍ／ｔｈｒｅａｄ ５０８ １ ｌ＿ｈｔｍ１． Ｏｎ Ｍｏｖｉｎｇ ０ｂｊ ｅｃｔｓ Ｔｒａｃｋｉｎｇ ａｎｄ ３ Ｄ Ｍｅａｓｕｒｅｍｅｎｔ Ｂａｓｅｄ ｏｎ Ｋｉｎｅｃｔ ＴＡＮ Ｙａｎ。 ＷＡＮＧ Ｙｕ—ｊ ｕｎ，ＬＩ Ｆｅｉ—ｌｏｎｇ， Ｇｅ Ｇｅｎｇ—ｙｕ Ｓｃｈｏｏｌ ｏｆ Ｃｏｍｐｕｔｅｒ ａｎｄ Ｉｎｆｏｒｍａｔｉｏｎ Ｓｃｉｅｎｃｅ，Ｓｏｕｔｈｗｅｓｔ Ｕｎｉｖｅｒｓｉｔｙ，Ｃｈｏｎｇｑｉｎｇ ４００７１５，Ｃｈｉｎａ Ａｂｓｔｒａｃｔ：Ｆｉｒｓｔ ｏｆ ａｉ１，ｗｉｔｈ ｔｈｅ ｉｍａｇｅ ｓｅｎｓｏｒ ｏｆ ｔｈｅ Ｍｉｃｒｏｓｏｆｔ ｓ ｋｉｎｅｃｔ ｏｂｔａｉｎｓ ｔｈｅ ＲＧＢ ｉｍａｇｅｓ，ｔｈｅｎ Ｃａｍ— ｓｈｉｆｔ ａｌｇｏｒｉｔｈｍ ｔｒａｃｋｉｎｇ ａ ｓｅｌｅｃｔｅｄ ｏｂｊ ｅｃｔ ｉｎ ｔｉｍｅ ａｎｄ ｏｂｔａｉｎ ｔｈｅ ｏｂｊ ｅｃｔ＇ｓ ｃｅｎｔｅｒ ｏｆ ｍａｓｓ ｈａｓ ｂｅｅｎ ｓｔｕｄｉｅｄ ｉｎ ｔｈｉｓ ｐａｐｅｒ．Ｆｉｎａｌｌｙ，ｔｈｅ ｃｅｎｔｅｒ ｏｆ ｍａｓｓ ｉｓ ｍａｐｐｅｄ ｔｏ ｄｅｐｔｈ ｉｍａｇｅｓ ａｎｄ ｇｅｔｓ ｔｈｅ ｔｈｒｅｅ—ｄｉｍｅｎｓｉｏｎａｌ ｃｏｏｒｄｉ— ｎａｔｅｓ ｏｆ ｔｈｅ ｍｏｖｅｍｅｎｔ ｔａｒｇｅｔ ｃｅｎｔｅｒ ｏｆ ｍａｓｓ ｉｎ ｔｉｍｅ．Ｉｎ ｔｈｅ ｃｏｌｏｒ ｓｐａｃｅ ｏｆ ｔｈｅ ｔａｒｇｅｔ ａｎｄ ｂａｃｋｇｒｏｕｎｄ ａ ｃｅｒ— ｔａｉｎ ｄｅｖｉａｔｉｏｎ ｈａｓ ｂｅｅｎ ｇｉｖｅｎ．Ｔｈｅ ｅｘｐｅｒｉｍｅｎｔａｌ ｒｅｓｕｌｔｓ ｓｈｏｗ ｔｈａｔ ｔｈｅ ｍｅｔｈｏｄ ｃａｎ ｒｅａｌ—ｔｉｍｅ ｔｒａｃｋｉｎｇ ｔａｒｇｅｔ ｏｂｊ ｅｃｔ ａｎｄ ｇｅｔ ｔｈｒｅｅ—ｄｉｍｅｎｓｉｏｎａｌ ｃｏｏｒｄｉｎａｔｅｓ ｏｆ ｔｈｅ ｔａｒｇｅｔ ｏｂｊ ｅｃｔ ｃｅｎｔｅｒ ｏｆ ｍａｓｓ． Ｋｅｙ ｗｏｒｄｓ：Ｋｉｎｅｃｔ；ｍｏｖｉｎｇ ｏｂｊ ｅｃｔｓ ｔｒａｃｋｉｎｇ；Ｔｈｒｅｅ—ｄｉｍｅｎｓｉｏｎａｌ ｃｏｏｒｄｉｎａｔｅ 责任编辑张构
