基于形态学处理与模式识别的手部图像分割

罗伟，冯亮，史桐林，张煜东

（南京师范大学计算机科学与技术学院，江苏南京210023）

摘要：为了更有效地分割手部图像，提出一种基于彩色阈值变换、形态学处理与模式识别的手部识别算法。利用手部与周围背景在RGB颜色分量上存在一定的差异，先通过RGB阈值变幻将彩色图像二值化，然后进行闭运算与孔洞填充，最后根据周长面积比去除背景中的孤立点集以提取手部。实验证明，该算法能够较为有效地将手部从背景中提取出来。

教育期刊网 http://www.jyqkw.com
关键词 ：手部图像分割；彩色阈值；形态学处理；特征提取；模式识别

中图分类号：TN911.73-34；TP751 文献标识码：A 文章编号：1004-373X（2015）12-0080-03

收稿日期：2014-12-31

基金项目：江苏省三维打印装备与制造重点实验室（BM2013006）；南京师范大学创新项目

0 引言

手部识别属于模式识别问题，其中涉及图像处理和特征提取操作。由于手部识别的应用范围广阔，许多学者及研究机构都在对此进行研究。

在已有的研究成果和算法中，最常使用的方法是机器视觉技术[1]，很多研究者通过诸多不同的机器视觉技术实现了精确有效地手部识别。Bhuyan.M.K等人提出一组新的描述手部连续姿态的特征集[2]。郭训力等人提出一种融合肤色模型和三维深度信息的手部识别方法[3]。覃文军等人提出了通过手部形状特征检测的手势感兴趣区提取方法[4]。魏来等人利用Kinect的关节点信息和肤色颜色模型提取出手部区域[5]。柴功博等人提出一种基于手掌分割的摄像机阵列手部定位技术[6]。DE.STEFANO.C 等人将遗传算法应用于模式识别中对手部图像的处理[7]。此外，还有通过外部设备获取生物电信号实现手部识别的方法，如郭一娜等人提出一种基于肌电信号与柔性神经树（Flexible Neural Trees）FNT模型的实时手势识别模型[8]。

以上这些算法都过于复杂，不利于工程实现。本文意在寻找一种简单且复杂度较低的算法来解决手部的识别问题。本文根据手部与周围背景在RGB颜色分量上的差异，对彩色图像阈值变换所得到的二值图像，进行开闭操作及特征提取，最后完成手部的识别过程。实验结果表明，该方法能够较为有效地实现手部与周围背景的分割。

1 数据来源

这里手动采集了27 幅手部图像，其中包含了男性和女性样本，年龄在18~20 岁之间，摆出不同的姿态。图1给出了数据库的4幅示意图。

2 方法

本文方法分为3个步骤如图2所示。在采集原始手部图像后，首先通过多通道阈值分割，得到二值图像；接着通过形态学操作，填充孔洞；最后通过模式识别方法，去除图像中的孤立点集，此时得到的就是最终的分割图像。

2.1 基于通道的阈值分割

物体表面的颜色即表面色是因光照而呈现的颜色[9]。在自然光照射及其他因素的影响下，手部和其他物体形成不同的表面色，且推测手部表面色会处于某个色彩范围内，本文正是利用手部和周围环境在RGB 颜色分量上的差异进行识别。截取样本图像中的感兴趣区域ROI（Region of Interest），即图像中的手部部分，对其进行RGB颜色分量统计，得到颜色分量直方图，如图3所示。可见，手部图像在RGB 颜色分量直方图上均存在波峰，可进一步划分彩色阈值。

由上述颜色分量直方图可得出手部的RGB颜色分量分布区域，根据这些信息将图像二值化。设R（m，n），G（m，n），B（m，n）分别代表（m，n）处的R、G、B 分量值，而bw（m，n）代表该点的二值化值，则：

2.2 形态学操作

彩色阈值分割后，手部可能会因为表面纹理造成图像中存在孔洞，所以，对变换后的二值图像先进行孔洞填充操作。然后，以白色手部区域为前景，其余黑色部分为背景，对得到的二值图像进行闭运算，闭运算即先膨胀再腐蚀的结果，将图像中狭窄的缺口连接起来，并填充比结构元素小的洞，平滑对象的轮廓。进行闭运算后，再进行一次孔洞填充，补完图像。

2.3 模式识别

在孔洞填充之后，图像中还有可能出现孤立的局部点集，这是由于拍摄时受噪声影响。为此，将所有互相连接的点集标号，提取对应的特征，建立规则选取符合手部图像的点集。

图像特征是指图像中可以用来标志的属性[10]，在其提取过程中，一般包括面积、周长、重心等。对手部图像进行特征提取，考虑到手指部分的形状，整个手部的周长面积比会与其他物体有所区分，所以根据周长面积比将手部从背景中提取出来。

面积：指物体区域包含的像素数，用符号s 表示。

周长：物体轮廓线上像素间距离之和，用符号c 表示。在进行周长计算时，需根据像素间的连接方式，分别计算距离。像素间距离可分为并列连接像素与倾斜连接像素2种方式。并列有上下左右4个方向，像素间距离为1；倾斜方向有左上角、左下角、右上角、右下角，其像素间距离等于单位正方体的对角线长度。本文使用8向链码求二值图像的周长。周长面积比用r 表示，有r = c s 。

表1是对实验数据提取得到的周长面积比统计。

表中数据0.048 276偏差较大，是由于取样过程中，拍摄样本图片角度过于倾斜导致。排除异常数据后，表中周长面积比的最小值min=0.067 697，最大值max=0.110 470，据此设置手部提取的特征参数区间。若用h代表手部，1和0分别代表该对象被保留或舍弃，则定义手部提取公式为：

3 实验

编程语言采用Matlab 2014a，在主频为3 GHz、CPU为Intel Core i3、内存为8 GB的HP Pavilion g6笔记本电脑上运行。这里设计了如下3个实验任务。限于篇幅，选择以图4（a）为例，详细描述本文算法的每一步结果。

3.1 预分割二值图像

基于RGB三通道得到的手部预分割的二值图像如图4（b）所示，可见式（1）能够有效地初步提取彩色手部图像。手部的大致边缘均包含在得到的二值图像内。缺陷在于，手部存在孔洞，同时背景部分存在独立点集。这将通过下述两个步骤予以校正。

3.2 孔洞填充

图4（c）是对二值图像进行孔洞填充、闭运算、再次孔洞填充后得到的变换图。可见，经过形态学操作后，前景图像（手部）中的孔洞已较好的予以填充，能够完整地反映手部的形状。

3.3 去除孤立点集

对孔洞填充后的图像进行模式识别以去除孤立点集，得到最终结果如图4（d）所示。可见，此时得到的分割结果不仅在手部区域没有孔洞，而且在背景区域也没有孤立点集，较理想地完成了本文的设计任务。

4 结语

本文根据手部和背景在RGB颜色分量上的差异所提出的基于分量值的彩色阈值变换图像分割算法，较单色分量的阈值变换具有明显的优势。同时引入形态学操作与模式识别算法，能够较好地填充孔洞与去除孤立点集。实验结果显示该算法具有较高的准确率，能够很好地将手部从背景中提取出来。

本文方法的缺点在于，在采集的样本图像中有部分提取后偏差较大，尤其是背景色彩复杂、光照过强或过弱的样本，此次样本有限，未能做进一步分析。另外，算法评价过于主观，需要进一步采用客观的量化评价方法。今后的工作将继续完善本算法，考虑引入纹理特征和边缘检测，以进一步提高该算法的鲁棒性，保证该算法在各种条件下都能适用。

注：本文通讯作者为张煜东。

作者简介：罗伟，男，江西景德镇人。研究方向为图像处理。

张煜东，男，江苏苏州人，博士，博士后，教授。研究方向为图像处理。

教育期刊网 http://www.jyqkw.com
参考文献

[1] NOUAOURIA N，BOUKADOUM M. Improved global-best par-ticle swarm optimization algorithm with mixed - attribute data classification capability [J]. Applied Soft Computing，2014，21（2）：554-567.

[2] BHUYAN M K，KUMAR D A，MACDORMAN K F，et al. Anovel set of features for continuous hand gesture recognition [J].Journal on Multimodal User Interfaces，2014，8（4）：333-343.

[3] 郭训力，俞扬.一种基于肤色和深度的第一人称人手识别方法[J].计算机工程与应用，2014（12）：133-136.

[4] 覃文军，杨金柱，赵大哲.基于形状特征检测的手势感兴趣区提取方法[J].机器人技术与应用，2012（6）：39-41.

[5] 魏来，王迪，邢程，等.基于kinect的手指定位[J].电脑知识与技术，2014（28）：6713-6715.

[6] 柴功博，顾宏斌，吴东苏，等.基于手掌分割的摄像机阵列手部定位技术研究[J].仪器仪表学报，2012（11）：2535-2545.

[7] DE STEFANO C，FONTANELLA F，MARROCCO C，et al. AGA - based feature selection approach with an application tohandwritten character recognition [J]. Pattern Recognition Let-ters，2014，35（2）：130-141.

[8] 郭一娜，王清华，艾杰特·亚伯拉罕.基于柔性神经树和表面肌电信号的手势识别模型[J].计算机应用与软件，2012（4）：170-173.