随着人机交互技术在国内外的发展,计算机虚拟现实技术通过模拟人的肢体语言等自然交流方式,将人的肢体语言等信号化,从而作为人机交互的驱动指令。操作方便灵敏、以交互者为中心的人机交互模式是未来人机交互技术的发展方向和需求,而基于视觉的手势识别是实现下一代人机交互技术中一项关键技术,由于手势几何形状的不确定性以及在时空上的差异性等特点,使此研究方向成为一个具有挑战性和技术性的多学科交叉研究课题。本文在针对原上海世博会“360度虚拟互动体验区”项目的动作感应模块存在的反应延迟以及精确度低等问题下,深入研究和分析国内外手势识别相关研究,在使用单目摄像头的情况下,完善和扩展动作感应阶段的功能及应用。本文通过研究复杂背景下的手势分割、手势跟踪、边缘增强、特征提取以及利用Surf特征算子和形状特征对静态手势进行识别,在此基础之上建立自然手势识别系统,在识别指尖和静态手势的基础上来进行驱动应用。本系统设计了多个人机交互应用,包括手势模拟鼠标、指尖数检测和手势浏览图片,视频播放,指尖绘图等,实现了手势与计算机实时动态交互。通过采集静态图片和视频文件作为样本来测试系统稳定性,经过数据分析得到手势识别具有好的识别率,达到预期的实验效果。本课题的主要研究内容如下：(1)本文在采用人脸检测基础之上,通过分类器检测脸部区域,提取脸部肤色在YCbCr颜色空间的颜色分量的分布情况,并作为人体肤色的动态分割阈值,并结合运动检测来去除环境中的类肤色块的干扰。(2)在基于运动检测和肤色信息基础上提取手部图像后,采用Kalman滤波和Camshift算法来预测和跟踪手势位置,通过提取手势轮廓的凸包、角点、外接圆直径、周长等参数,结合Surf特征算子来进行静态手势识别。(3)本文提出结合角点检测、凸包及凸缺陷来进行指尖检测,其基本思想是：首先提取二值化手部图像的角点,利用轮廓提取凸包及凸缺陷并结合手部几何特征提取最优化的角点,从而将指尖提取出来。本文研究的特色主要体现在以下两个方面：(1)结合运动分析和肤色模型进行肤色分割,该方法在YCbCr颜色模型下根据脸部肤色采集分析设定动态分割阈值范围,根据手部运动分析确定手部位置,并利用形态学处理去除孤立噪点,从而分割出人手。(2)结合角点检测、轮廓凸包、重心和手部的几何特征,从而提取出手指,通过拟合手部的多边形特征和Surf特征算子进行手势识别。