人体行为识别一直是计算机视觉研究的热点,被广泛应用于医疗康复训练、智慧交通、人机交互等众多领域,应用前景非常广泛,具有很大的研究价值。但由于视频维度较高、处理比较复杂,且模型识别精度不高等特点,需要提出了相应的策略进行改进。本文针对LRCN和双流网络,提出了两种网络模型结构,一种是在LRCN的基础上提出的比较简单的串联式网络,另一种是在双流网络的基础上,提出了一种融合策略以及提取全局时间信息的方法。本文的主要工作如下:(1)总结并分析了人体行为识别的数据集和常用方法,并进行了一定的归类处理。并对深度学习的一些常用基础理论知识进行了一定的总结归纳。(2)在LRCN的基础上,提出了一种基于CNN、Bi-LSTM、MLP的串联式网络架构的人体行为识别方法。在视频预处理时采用了平均稀疏下采样的方法,可以有效的解决视频无法直接输入卷积的问题,同时又能有效的降低时间复杂度,减少模型训练和前向传播的时间,另外,区别于其他模型仅使用LSTM,采用Bi-LSTM能同时学习到视频序列的“顺序”和“逆序”信息。(3)在双流网络的基础上,提出了一种基于双流网络和Bi-GRU的并联式网络架构的人体行为识别方法,创造性的引入卷积融合,并采用了GRU代替LSTM,在不影响效果的同时提升了速度。在训练中,同样采用了稀疏下采样方法解决视频难处理的问题。双流网络可以同时提取视频中的时间信息和空间信息,但是时间网络只能提取视频的局部信息,因此特征融合后,采用GRU提取视频的全局信息,以弥补局部信息的不足。在本文提出的两个模型中,并联式网络的效果明显优于串联式网络,这主要由于本文的双流网络采用了更深的卷积网络,能够学习到更加抽象的特征。并且双流网络结构更加复杂,特殊设计的卷积融合结构以及采用GRU提取全局时间信息,能提取到更加丰富信息。