基于视频的排球智能分析系统的研究与实现

刘苗苗，李增男，张永生

（东北石油大学，黑龙江 大庆 163318）

摘 要：以排球运动轨迹为研究对象，将计算机视觉、视频分析处理技术相结合，研究了基于视频的排球轨迹获取关键技术，通过视频帧处理、运动目标检测、识别跟踪、轨迹提取等一系列步骤从视频中精准提取排球运动轨迹信息，采用Intel OpenCV及Matlab设计并实现一套排球智能分析系统，为排球比赛分析及球队战术训练等提供决策支持.

教育期刊网 http://www.jyqkw.com
关键词 ：视频；目标检测；识别跟踪；轨迹提取

中图分类号：G842文献标识码：A文章编号：1673-260X（2015）02-0182-02

随着计算机视觉技术和图像处理技术的飞速发展，基于视频的运动目标检测及跟踪技术在排球等体育项目中应用越来越广泛.针对排球比赛技术分析和指导的应用需求，本文以排球的检测跟踪及运动轨迹为研究对象，将计算机视觉技术、图像处理技术相结合，提出基于视频的排球检测、跟踪、轨迹获取整体解决方案，采用Intel OpenCV及matlab开发一套排球智能分析系统.系统采用双摄像机同步读取两个摄像头实时捕获的视频，获取不同方位的排球运动图像信息.通过标定两台摄像机的内外参数获得排球的三维坐标.从系统实时性和鲁棒性要求出发，使用背景差分法实现对排球的快速检测.同时结合排球的形状、颜色、亮度等特性实现对排球的识别与空间定位.利用排球的运动特性，建立并修正其运动轨迹方程.通过两个摄像头同步获得的轨迹曲线实现排球三维运动轨迹的曲线合成.该曲线不仅可以记录每一时刻球体的位置信息，而且包含球体的运动方向、运动速度、轮廓参数等信息.最后，分析球体轨迹曲线特征，并将轨迹模型包含的信息作为智能分析系统的输入，用于战略战术分析、队员动作分析等，为排球运动研究提供准确依据和决策支持，进而提高了比赛研究人员的工作效率.

1 关键技术分析实现

基于视频的排球智能分析系统的设计与实现主要涉及视频帧处理、运动目标检测识别、运动轨迹提取等几方面技术.整个系统的工作流程如下：

(1)进行摄像机标定和场地标定，获得摄像机内外参数以及场地边界数据，同时将图像的像素坐标映射成实际场地坐标.

(2)接收由摄像机和图像采集卡等视频设备获取的数字信号，并将采集到的每帧数据保存为静态图像.

(3)比赛开始后启动系统，利用运动目标检测算法检测是否有运动目标.

(4)通过特定的运动目标跟踪识别算法从图像中分割并提取出运动目标.

(5)根据双目摄像机所获取的目标质心坐标得到排球的三维坐标值，记录其运动轨迹数据和轨迹特征，建立运动轨迹方程.

(6)将轨迹曲线特征作为智能分析系统的输入，用于比赛训练等的裁判决策和智能分析.

1.1 视频信息的获取

本系统要根据采集到的视频信息获得排球的运动轨迹曲线图，因此要通过摄像机标定实现从视频设备中获得的二维图像到运动目标三维坐标信息的对应转换[1].系统首先采用线性标定或张正友标定等传统标定法对摄像机进行标定，获取摄像机的内外参数以及双目摄像机的位姿关系[2].完成摄像机和场地的标定后，接收由视频设备获取的数字信号，按一定的采样间隔进行采样，得到时变序列图像集，并将采集到的每帧数据保存为静态图像.系统通过双目摄相机可同时从不同角度获取两幅图像，然后基于视差原理恢复运动目标的三维几何信息[3].视频在生成以及传输过程中，会因外界环境的影响产生一些噪声，预处理阶段可采用图像滤波方法等对图像帧进行去噪处理，提高视频帧的质量，便于后期的分析处理.

1.2 运动目标检测

由于摄像机和运动场地背景处于相对静止状态，而当前在静止背景下常用的运动目标检测方法有背景差分法、帧间差分法、光流法和运动能量法等[4].背景差分法是基于图像序列和参考背景模型相减实现运动目标检测的，是当前最常用的运动目标检测方法之一.它首先抓取图像作为背景图像，之后利用当前图像与背景图像差分从而检测出运动物体.该方法能够较完整地提取出运动目标，位置精确，实时性好，因此本系统设计中采用了背景差分法来提取排球运动模型，使用Intel公司提供的计算机视觉函数库OpenCV进行图像处理和计算机视觉方面的算法.首先采集图像，然后统计特征点，检测当前系统状态下是否有运动目标.若有，则采集视频数据，并保存成序列图像.若无运动目标则保存背景继续检测判断.得到背景图像和含有目标的一帧图像后，利用图像减运算可得到背景差分图像.之后进行噪音去除、连通区域标记、基于排球亮度形状颜色等的特征匹配，对连续图像中的排球目标进行检测，通过分析排球对象在比赛视频中的面积、形态等属性范围目标区域边缘提取等筛选出候选排球对象，最终将目标识别出来.

1.3 运动目标跟踪识别

国内外相关研究人员已经在球体的检测与识别方面做了相应的研究.刘斐等人提出一种混合颜色空间查找表的颜色分类方法，用于对图像进行颜色分割，并建立颜色查找表，依据颜色信息实现在线快速分类，识别球体.也有依据形状进行边缘信息提取来识别球体的.常用的边缘提取方法有Prewitt算子、Sobel算子、Laplacian算子和Canny算子等，其中Canny算子能很好地提取出图像的单边缘信息，具有较快的速度.赛场上常用的“鹰眼”技术已经发展得比较成熟，主要用于体育赛事的即时回放，但回放时间的长度有限，且需要多个高速摄像机，价格比较昂贵.Lipton等使用空间差减法在真实的视频流中检测并跟踪运动目标.此外，有一种改进方法是使用三帧差分代替两帧差分.该算法计算非常快，在图像序列中检测运动对象非常有效.

1.4 轨迹曲线提取

近年来，在众多学者的努力下，多种轨迹提取方法得以诞生.清华大学刘晓东等人成功研制了一种基于计算机系统的运动目标检测、目标跟踪及目标分类的智能监控系统.湖南大学万琴等人提出一种针对固定监控场景的运动检测与目标跟踪方法，利用运动预测技术实现目标匹配，但该方法在复杂环境下对多个目标进行跟踪时算法精确度大幅度降低[5].北航郝久月等人研究了监控场景中运动目标轨迹聚类算法.浙江大学的肖俊等人利用单个摄像机对人体未被遮挡部位的动作进行跟踪.熊荣炎等人通过分析视频序列图像的灰度特征，结合背景差分减法，提出一种静止摄像机条件下，基于特征值快速检测与跟踪目标的方法.

本文着重研究排球比赛视频中球体检测与轨迹提取的精确性、鲁棒性以及实时性等方面的问题.系统针对实际需要建立了基于球体运动方向、运动速度、轮廓参数等信息的多元组轨迹模型.分析并总结了经典的轨迹提取算法的优缺点，有针对性地研究如何利用候选球体的X、Y坐标值分布建立排球轨迹方程，并利用轨迹方程辅助、矫正排球的检测和跟踪，将识别出的球体的运动轨迹提取出来，提升算法运行速度，实现运动轨迹鲁棒提取，并将跟踪结果及运动轨迹以视频帧的形式展示出来.

1.5 智能分析模块

智能分析模块可依据对排球运动轨迹变化情况的分析，研究排球比赛中运动员击球行为的检测、击球动作的分类、识别与分析技术等.

2 基于视频的排球智能分析系统

2.1 系统软硬件架构

基于视频的排球智能分析系统的硬件组成主要是由两个摄像机和计算机组成的双目视觉系统.两台智能摄像机与上位机组成一个局域网，其中PC机作为服务器，两台智能相机作为客户端，系统主要的运算任务如视频图像的采集处理等都在两台摄像机中并行完成，极大地分担了上位机的运算负荷，起到了平衡负载的作用，解决了常规两目视觉中的运算瓶颈问题.本系统中上位机不进行图像处理，只进行简单的运算如三维坐标计算、曲线拟合等.

软件部分使用Intel公司支持的开源计算机视觉库OpenCV提供的函数进行计算机视觉算法方面的开发，采用VC++编程实现运动目标的检测跟踪算法，完成了摄像机及场地的标定、图像序列的获取、排球目标的检测、排球运动轨迹的提取、轨迹特征信息的分析等.

2.2 系统实现

系统深入研究双摄像头下排球的识别检测跟踪与轨迹提取方法，为裁判辅助智能分析系统提供有效的数据输入和决策支持，同时满足系统的精确性、鲁棒性、实时性等方面的问题.

本系统采用张氏标定法对摄像机进行标定，分别获取两个摄像机的内外参数，进而用于排球三维坐标的获取.排球视频的采集采用高性能视频采集卡，采集方式有多种，常用的是采用VFW (Video For Windows)硬件驱动开发包提供的接口或源代码开发.VFW使用简单方便，但可控性差.因此，系统采用基于源码的DirectX完成视频采集，它是微软开发的基于Windows的一组API，通过DirectShow对象创建视频端口，可以灵活方便地操作硬件并获得各种所需的视频数据，实现视频流的压缩传输.系统使用Intel公司支持的开源计算机视觉库OpenCV提供的函数进行计算机视觉算法方面的开发[6]，排球检测与跟踪模块采用VC++编程实现，运行于Windows操作系统上.背景差分法的实现过程中结合了排球的形状颜色等特征信息，及时更新背景图像，提高了排球的检测精度.运用形态学滤波去除噪音，并进行高斯滤波平滑图像，实现了排球的检测识别.最后通过卡尔曼预测原理对排球运动轨迹进行跟踪预测，得到排球运动轨迹曲线方程，并将轨迹曲线作为特征信息输入智能分析系统.整个智能分析系统的人机交互界面中可以设定摄像机的帧速率、场地信息等参数.摄像机控制区可控制两个双目摄像机的启动、关闭、捕获和载入视频等.同时，运用Matlab在人机交互界面还可以显示通过双目摄像机得到的排球运动轨迹曲线图[7].

3 小结

由于排球比赛视频背景复杂，镜头切换频繁，排球运动过程中其颜色、大小等特征信息会经常变化，且运动目标提取容易受到背景、光线变化、阴影、运动速度等因素影响，因此很难以单个球为对象建立一个有效的模型来检测运动球体.且许多运动对象或者某些区域在外形上与排球很相似，当球与球员和球场线接触或被球员遮挡时，会给球的检测造成很大的困难.因此，为了提高排球跟踪算法的精确性和鲁棒性，降低算法复杂性，必须提出新的目标识别检测跟踪算法，并保证系统的实时、准确、稳定等.此外，由于排球运动中存在自旋以及外界不确定因素的干扰，难以建立准确的运动学方程.因此，如何对一些经典的滤波算法进行改进，提出鲁棒性更高的轨迹获取方法，根据视频帧信息获得排球每时每刻的位置坐标和瞬时速度值等生成排球运动轨迹，也是系统的一个技术关键难题.结合排球轨迹信息，对视频进行更高层的语义分析是下一步需要研究的内容.

教育期刊网 http://www.jyqkw.com
参考文献：

〔1〕张虎.机器视觉中二维图像的三维重建[D].北京:北方工业大学，2006.

〔2〕田原嫄，张云辉，谭庆昌.CCD摄像机标定的研究[J]，微计算机信息，2008，5(3):06-207.

〔3〕牟雅丹.基于双目立体视觉系统的摄像机标定技术[J]， sciENCE & TECHNOLOGYINFORMATION， 2009， 33.