随着计算机软件及硬件的发展,尤其是GPU的广泛使用极大的提升了计算机的计算能力,这使得沉寂了许多年的以卷积神经网络(Convolutional Neural Networks,简写为CNNs)为代表的深度学习模型在计算机视觉领域各种任务上获得了前所未有的成功。同时,人们的物质生活也得到了极大的丰富,智能手机、智能家电、聊天机器人等在人们的日常生活中越来越常见,物体识别技术已经被广泛的应用在这些设备上用于实现人机交互。然而,物体识别并不是一个简单的任务,因为同类的物体存在类内多样性,而且不同类物体间也存在一定程度的类间相似性,仅仅依靠RGB图像实现准确的物体识别仍然面临很大的挑战。近年来,价格低廉的RGB-D设备(比如微软的Kinect)的出现使得深度图像的获取更加容易,深度图像作为一种辅助信息在一定程度上能降低图像识别的难度,已经成为科学家们研究的热点。图像数据作为信息传递的一种重要载体,在人机交互的过程中有着不可或缺的作用。而在人机交互中手持物体又占据着绝大部分,因此本文的工作主要对手持物体识别做一些研究。本文的主要工作包括以下几个部分:(1)采用深度学习的方法进行手持物体识别,并在此基础上提出两种基于RGB图像和Depth图像的多模态特征融合方法:高层语义特征融合和基于gate机制的特征融合。本文提出的方法可以使神经网络自动学习两种模态特征对于最终识别结果的重要程度,从而实现两种特征的相辅相成,更有效的融合特征。(2)采用小样本学习的方式进行手持物体识别,并在此基础上提出基于多模态特征融合的小样本学习方法,该方法引入深度图像作为辅助信息,能有效提升小样本学习能力,获得更好的性能。(3)采集并制作由40类生活中常见物体组成的手持物体识别数据集HOD-40,包括原始图像、分割图像与物体的bounding box,其中每一帧图像不仅有常见的RGB图像还包含与之对应的深度图像。