随着穿戴和手持等便携设备的发展和流行，基于键盘和鼠标的传统交互方式逐渐不适宜作为这些移动计算设备的主要交互手段，而笔和语音以其紧凑和便携性非常适用于这些设备。随着普适计算(Ubiquitous computing)的发展，笔和语音逐渐成为人机交互技术的一个主要研究内容。 本文对语音用户界面的特点、国内外研究情况、发展趋势和设计要素进行了介绍。剖析了语音用户界面的优缺点以及适用的交互环境。在此基础上，提出了语音用户界面的交互模型以及界面隐喻；根据语音用户界面的设计要素实现了原型系统HomeDoctor，并对该系统进行了用户评估实验。 本文还对笔式用户界面的发展历史、软硬件环境、国内外相关研究及应用系统进行了较详细的介绍，讨论了笔式界面基于纸—笔的界面隐喻和以用户为中心的设计指导思想，提出了基于笔设备的交互、输入事件描述。论文将人们日常生活中的交流方式引入到与计算机的交互当中，设计并实现了基于笔输入设备的文档输入编辑系统SketchEditor，在SketchEditor环境中，用户使用单一的笔设备就可以完成文本输入、修改的全部任务。SketchEditor捕捉用户的输入笔迹和手势，并进行识别处理，完成相应的功能，既保持了传统工作方式的自然、高效，又利用了计算资源实现对信息的再加工处理。 本文设计并实现了能够同时记录笔画和语音信息的会议笔录系统ASN。在系统实现过程中，研究了手势识别、手写文字切分、基于上下文的交互处理等内容，并对基于手势交互的文本编辑系统进行了用户评估实验。本系统中文本输入采用了联机手写体自由格式输入，在对笔迹信息的处理过程中，利用了笔画的空间信息和笔画间的位置关系，并且还利用最小生成树(MST)综合考虑了全体待切分笔画间的位置关系，从全局的观点对笔画进行切分，取得了较好的汉字切分效果，为汉字的正确识别奠定了基础，而且切分算法的使用也保持