手势识别是人机交互领域的热点研究问题之一,对构建智能的人机交互方式发挥着重要的作用。本文根据现有手势识别研究工作中的不足,从更加自然、智能的人机交互理念出发,提出了混合手势的概念：(1)同时包含静态手势和动态手势；(2)两类手势可按任意次序出现。为了识别视频图像序列中的混合手势,本文分别从手的检测与分割、视频序列中的手势划分以及手势的分类识别三个方面进行了深入的研究工作。首先,本文提出了一种改进的结合肤色检测、前景检测以及运动检测的方法用于实现复杂背景环境下的手分割,并利用手的历史位置信息和当前运动信息解决了目标手的智能切换问题。然后,针对手势划分的问题,本文提出了一种基于状态的手势划分算法,该算法能高效的区分连续序列中隐含的静态手势和动态手势。接着本文阐述了我们的静态手势和动态手势的分类识别方法,并针对复杂动态手势的识别,提出了新的特征提取方法和用于解决训练数据不一致的数据对齐算法。最后本文综合我们的研究工作,实现了一个在线的混合手势识别系统,并展示了在一个虚拟环境系统中的交互应用。实验的结果充分证明了我们的方法可以对自然的混合手势进行连续、稳定、实时的识别。