视线跟踪技术是目前人机自然交互领域中备受关注的研究方向,基于视线跟踪技术的新型人机交互方式的设计也是图像实时处理的重要应用课题。本文系统基于视线跟踪技术,结合数字图像处理算法,设计了一种用摄像头代替传统手动操作鼠标作为输入设备,通过实时检测和跟踪人脸特征点,判断人脸、瞳孔和眼角在每帧视频图像中的位置变化,进而推导和跟踪使用者的视线变化,并控制鼠标动作的眼控鼠标系统,即“眼标系统”。其中,对瞳孔中心定位和内眼角提取以及视频帧预测机制的设计是本文的主要研究内容。本文研究开发的眼控鼠标系统,在定位被跟踪目标的过程中,改变以往研究中视线跟踪的方法,提出一种以内眼角为参考点来计算视线的注视方向和位置。首先,利用混合投影函数和区域质心算法精确定位瞳孔中心,并在内眼角窗口中应用改进的Susan算法和内眼角检测算子提取内眼角点,然后,根据瞳孔中心与内眼角点位置的相对偏离程度来估计人眼的视线方向并进行跟踪。该方法克服了过去使用mark点或普尔钦斑(Purkinje)点为参考点的缺陷,无需使用者在脸上做mark点,使用环境简单,无需特殊辅助光源,而且允许人脸在较大范围内偏转。在人脸特征点检测过程中,为了提高系统的实时性,本文在系统中加入帧预测机制,即通过上一帧成功定位的人脸特征点的位置预测当前帧中人脸特征点的搜索范围,从而大大减少了目标检测与跟踪的运算量,提高了系统实时性。