论文部分内容阅读
随着智能设备的便携化和微型化,很多传统的人机交互设备,比如显示器,键盘,鼠标等,已经不适合在智能设备上使用。为了解决人机交互方法便携性和便利性问题,很多新的人机交互方式被应用到智能设备上,其中基于投影仪和摄像头的交互方式给未来的交互方式带来了更灵活和广阔的应用空间。本课题旨在建立基于单投影-单摄像系统的投影触摸板人机交互系统,在适应越来越小的便携式智能设备的应用场景的同时,满足用户对于方便的人机交互方式的需求。在投影触摸板人机交互系统中,希望触摸板的精度能在2mm以下达到98%以上的触碰准确度,并且在手指触碰后移动中对应的光标移动误差达到1像素点,整体系统功能跟真实触摸板相同。投影触摸板人机交互系统基本原理是基于双目系统的三维测量和结构光来获取物体表面三维信息,同时利用手指模型来判断手指触碰和手指触碰后的轨迹移动。其实现的主要难点有以下几点:1)高精度的标定以获得准确的投影仪-摄像头模型参数,其影响三维信息获取的精度;2)如何高精度的获取被遮挡的手指下表面的信息,从而实现高精度的触碰判断;3)手指和光标对应关系和手指高精度的轨迹追踪;4)算法实现的实时性和硬件实现如何实现,以满足移动设备上的应用。本论文针对上述难点分别展开了深入研究,主要创新点包括:1)采用了一种考虑投影角点透视失真的改进的投影仪-摄像头系统联合标定方法,以获得高精度的系统校正参数,实现对感兴趣的指尖位置实现高精度三维测量;2)利用颜色编码结构光获取运动中手指的上表面三维信息;3)采用了一种精确的手指模型解决手指触碰时下表面信息无法获取的问题,同时利用手指模型上关键点的三维信息来进行手指触碰判断,简化了算法和减少了存储空间,为系统的实时性和硬件实现提供了有力支持;4)结合手指模型,找到手指和光标对应关系,利用手指上关键点提出并实现了一种基于卡尔曼滤波方法的手指触碰后高精度手指轨迹跟踪方法。论文基于个人电脑和投影仪-摄像头等系统搭建了实验平台,并针对标定方法,触碰判断和运动轨迹跟踪三部分进行了实验,投影仪-摄像头系统的标定经过改进之后投影仪的重投影误差达到了0.1401。在2mm高度以下触碰准确率达到99%。手指的运动轨迹跟踪精度的误差达到1像素点以内。整体在1000lux的光照环境下,投影距离为35cm的情况下,整体的性能指标都能满足投影触摸板交互的需求。