论文部分内容阅读
针对传统双流网络无法捕捉视频序列中的时序关系从而导致对时序依赖较大的行为识别效果不理想的问题,提出一种基于改进双流时空网络的人体行为识别算法。首先利用时间移位思想,使卷积神经网络对视频中的时序关系建模,从而高效地捕捉视频中的时空信息;同时使用注意力机制改善由于通道信息在时间轴上移动导致的空间特征学习能力下降的问题;在此基础上构建了一个包含时空表观信息流和时空运动信息流的双流网络结构;最后,采用加权平均的方式融合双流网络,得到最终的识别结果。在UCF101和HMDB51数据集上分别进行了实验,识别准确