视频分类主要研究视频中包含的内容,确定与视频相关的几个关键主题。行为识别的主要目标是判断一段视频中人的行为类别,因此行为识别可看作视频分类的子领域。视频分类在视频推荐,智能监控以及人机交互等领域有着广泛的应用前景。随着互联网和多媒体技术的发展,视频数据的规模日益增大,内容也更加复杂,基于传统方案的识别方法遇到了极大的困难。随着深度学习技术的不断发展,深度网络为解决大规模视频分类问题提供了新的思路和方法。深度学习技术的应用使视频分类任务进入了新的阶段,视频分类的精度不断提高,视频分类也由简单场景下的行为识别逐渐发展成大规模多标签的通用视频分类任务。本文主要研究基于视觉的视频分类和行为识别方法,主要对从视频数据中提取出的数据帧序列进行处理和分类,不考虑其它的视频数据信息。提出了基于三维时空特征和上下文门控的视频分类方法,进一步引入了标签平滑和专家混合模型用于视频分类。在行为识别数据集上对所提出的方法做了分析和实验验证,最后对视频分类任务的发展以及研究方向做了展望。本文的主要内容包括:1.提出基于三维时空特征和上下文门控的视频分类方法。三维卷积操作可以直接提取视频的时间和空间信息,而残差结构引入的恒等映射则可以使网络更易优化。网络利用基于注意力机制的上下文门控单元可以重新校准输入的不同视觉激活,捕捉深度特征之间的相互依赖关系。获得了与输出具有显著性关联的表征信息,提升了模型的判别能力。最后在行为识别数据集UCF101和HMDB51上对本文所提出的方法进行实验,证明了所提出方法的有效性。2.提出基于三维时空特征和标签平滑的视频分类方法。利用标签平滑函数修正视频数据的标签,在训练过程中,网络学习了错误标签的损失,增强了模型的学习能力。标签平滑技术对网络的损失函数产生了正则化的效果,可以缓解网络过拟合问题。实验证明了标签平滑技术的引入提高了网络对视频的分类精度。3.提出基于三维时空特征和专家混合模型的视频分类方法。专家混合模型通过使用多个专家模型学习数据的特定模式,利用一个可学习的门控网络整合所有专家模型的预测结果。不同专家模型可以相互补偿其它专家模型造成的误差,最终得到一个泛化性能更强的混合模型。最后在行为识别数据集上进行实验,进一步讨论分析了专家混合模型的有效性。