随着计算机视觉技术的发展以及人们对新的交互手段的需求,基于计算机视觉的交互系统(如手语、人脸、表情、唇读、头势、体势等)便逐渐发展起来。其中手势完全可以作为一种手段,它生动、形象、直观,可以增强人机交互过程中的自然性。本文从自然人机交互的角度出发,研究了基于表观的二维手势识别技术,并实现了一个基于简单自然手势的人机交互系统并应用到鼠标控制中,为后续的深入研究奠定了平台基础。具体研究工作包括以下几个方面：(1)为了克服现有的手势分割算法中单线索分割的局限,提出一种基于概率模型的表观手势分割方法。该方法首先利用肤色概率分布图得到图像的肤色信息,然后将图像分块后用统计的差减法得到运动信息,最后结合手势的肤色分布与运动信息的多线索融合进行手势分割。实验结果表明,此方法提高了复杂背景下的手势分割的准确度。(2)针对现有动态手势跟踪方法不能准确跟踪轮廓的缺点,从统计和概率分布上考虑,通过将现有的一维肤色概率分布扩展为二维肤色概率分布,提高了肤色的表示精度。该方法首先通过将各个像素分别看作独立的系统,并建立像素状态模型估计当前像素与区域的状态,然后对当前帧进行基于区域的自适应阈值分割,以达到对手势进行实时轮廓跟踪的目的。(3)针对传统的目标物形状识别不能识别相似样本,且在多样本、多分类的情况下分类率低等问题,利用小波多分辨率分析的细节信息与近似信息对物体形状具有特征描述的特点,通过对轮廓链码p阶归一化极半径信号Haar小波分解,提取出一种用于形状识别的极半径Haar小波特征。实验结果表明此特征可识别相似形状,样本数、分类数越多,分类效果越好。最后,结合上述研究,用VC++6.0实现了一个简单的基于VFW的手势应用系统。该系统可以识别简单的几种手形,并通过语义解释,动态手势识别,实现了鼠标功能。并在此系统的基础上,提出了人机交互中用手势控制鼠标、键盘,即完全实现手势控制的计算机视觉交互的一般的系统架构,为复杂的应用提出了思路。