手势识别是一种重要的人机交互技术,它为人机交互提供人性化的信息输入和命令控制方式,是当今的一大研究热点。本文通过分析手势识别的研究现状,针对基于视觉的手势识别研究中的问题和难点,从手势分割、静态手势识别和动态手势识别三个方面展开理论研究,并完成手势识别系统的搭建。针对现有手势分割方法在复杂环境下,受光照、无关肤色等因素的影响,分割效果不理想的问题,利用图像深度信息对光照和色彩的变化不敏感这一特点,本文提出了基于YCr’Cb’椭圆模型和K均值聚类算法的彩色-深度图像的手势分割方法,该方法通过K均值聚类算法对肤色块的位置和深度信息进行聚类处理,以消除无关肤色的干扰;通过利用位置信息对手势目标的修正处理,减少光照变化的影响。实验表明,该方法能够有效的完成复杂环境下彩色-深度图像的手势分割。针对基于轮廓的识别算法在目标旋转和缩放时识别率低和鲁棒性差的问题,本文提出了一种基于指尖点和Hu矩的静态手势识别方法,该方法利用手指类似圆柱体的形状特征,通过求取类指尖不同部位的宽度,改进基于曲率的指尖检测方法,以增强指尖点特征提取的鲁棒性;融合Hu矩和指尖点特征,提高手势模型的全局描述性;利用能够自动添加新手势的识别算法,提高算法的实用性。实验表明,该方法在满足实时性的基础上有效的提高了静态手势识别的准确性和鲁棒性。针对现有的动态手势识别方法在复杂环境下识别率低,实时性差等问题,提出一种基于RGB-D信息的动态手势识别方法。该方法将深度信息引入到传统卡尔曼跟踪算法中,作为其跟踪参数之一,以提高手势跟踪的精度;在跟踪过程中通过对检测范围的加窗处理,提高跟踪的效率;结合快速动态时间规整算法和突出关键特征点的思想,改进传统动态时间规整算法,并将其应用到手势轨迹匹配中,以提高匹配的性能。实验表明,复杂环境下该方法可以有效地提高动态手势识别的效率。在手势识别相关算法的基础上,设计并完成基于Qt和Open CV的静、动态手势识别系统,将理论研究应用于现实环境中并为理论研究提供良好的实验平台。静态手势识别系统分别支持纯彩色手势图像、彩色-深度手势图像和直接通过摄像头读取的视频图像三种数据输入方式,并完成手势分割、指尖等轮廓特征提取和手势识别。