利用计算机来追踪和识别手部姿态是一种自然的人机交换方式。目前在基于视觉的手势识别方面的研究取得不小的进步,然而离实际的应用还有一段距离。很多基于彩色图像的手势识别方法利用了各种算法,然而往往是针对于特定的手势进行识别,并且对于复杂环境缺乏鲁棒性。基于深度的图像为手势识别算法提供了一种不同的数据,通过深度图像通常能够较好的排除环境的干扰,因为其不受光照影响,能够容易地剔除较远的环境背景。因此本文提出了一种基于彩色图像和深度图像的手势追踪方法,该方法能够识别任意姿态的手势而不只是针对特定的手势,并且该方法能够实现实时的在线运行。在彩色图像下,采用了随机森林的算法进行肤色的分类;在深度图像下,同样采用了随机森林的算法进行手部的分割。采用了一种简化的26自由度的3D手部模型,提出了一种计算假设手部模型与实际手部图像的差异目标函数。采用了粒子群算法求解目标函数,并利用GPU对粒子群算法实现加速。