动态场景理解是一个计算机视觉和机器学习的交叉子问题,一直以来都是一个研究的热点。本文提出了基于规则针对动态监控场景中特定事件检测的算法,并针对其存在的问题,提出了面向动态监控场景的时空深度学习算法,并将其在动态交通场景上进行了应用,实现了对方向盘转角的拟人化决策。针对动态场景理解中特定事件的检测,本文提出了一种使用基于规则动态场景理解算法。该算法通过分析特定事件的特点,为不同的事件制定针对性的检测规则,使用光流法和背景建模算法等经典计算机视觉算法,并结合根据经验设置的约束检验,实现了对应的事件检测。这套算法在监控场景的人群异常事件检测中进行应用时,对人群聚集异常检测的F-Measure达到了90.9%,而在人群逃散异常检测任务中,显示出了对光线变化的鲁棒性,在其他非学习算法几乎无法检测的光线变化剧烈的场景中F-Measure仍达到了61.24%。针对上述基于规则的方法规则制定困难且难以推广的缺点,本文使用深度学习算法,提出了一种深度学习动态场景分析算法,该算法不特别针对某类特定事件而是对多种事件普遍适用。本文通过使用多路三维卷积网络,提取出动态场景数据中丰富的高层特征,并将这些高层特征融合,用以对动态场景数据的内容进行分类,之后在该网络结合之前也有应用的经验约束,可有效地进行动态监控场景中的事件检测。在训练网络时,本文使用了预训练及微调的方式一定程度上解决了训练样本不足的问题。在微调及检测时,使用了时空分块策略提升了检测效果。在监控场景的人群异常检测中这个适用于多种事件深度学习动态场景分析算法取得了比针对特定事件专门制定规则的方法略优的效果。针对面向的动态交通场景中的决策的任务,本文将上述多路时空三维卷积网络进行了改进和应用。本文将卷积网络中的一些效果提升方法应用到网络中,构建了时空决策网络。通过从经验驾驶员的驾驶数据中学习有助于网络理解动态交通场景的特征,使得改进后的网络成功地对汽车行驶过程中方向盘转角进行了决策。最终得到的时空决策网络相对于现在通用的二维卷积神经网络的平均绝对值误差减小了0.762°。