第一人称视频分析,即对以第一人称视角捕获的视频的分析,是计算机视觉中的新兴领域。近年来随着GoPro,Google Glass,Microsoft SenseCam等便携式相机的推出,以及其在记录日常生活,辅助生活,智能家居等方面的普及,第一人称视频大量出现。第一人称视频涉及大量的物体操纵类动作,其主要挑战在于不相关的感兴趣区域物体以及杂乱的背景,因此现有的第一人称视频分析方法主要应用深度网络框架分割手部及动作区域来进行视频动作的检测。而在智能家居,辅助生活等实际应用中,对于视频动作的预测有着更好的前景,而现有的第一人称视频分析方法均采用同步序列的网络框架,其局限性主要有两个方面:其一不能模拟长时间的时序关系,也不能对未来事件从做出判断;其二不能权衡输入帧序列对于结果的影响,冗余和噪声对结果影响极大。本文针对目前第一人称视频分析方法无法模拟长时间的时许序列以及其同步模块无法处理异步事件数据的局限性,在点过程模型条件强度函数的基础上,重点研究了目光注视点对于长时间视频序列异步事件的驱动作用,提出了一个基于点过程的目光注视点驱动的同步与异步相结合的深度递归网络模型,从对长时间的异步数据建模以及对于冗余视频帧的处理这两面入手。通常情况下,眼球运动会反映人的一个思维过程,人们的动作也会在一定程度上遵循眼球运动的轨迹,因此在本文的网络结构中,将异步事件定义为目光注视点移入/移出某视频帧中正在被操纵的物体,与动作的开始/结束密切关联;针对冗余帧和噪声对结果的影响,本文提出了一个注意力分数模型框架,对于一个视频帧序列,对其每一帧进行打分,决定性因素为异步事件序列,既提升了实验准确率,又能提升模型鲁棒性。本文做出了如下的创新性工作:(1)基于点过程条件强度函数背景与激励对未来事件的影响,提出了目光注视点驱动的同步异步相结合的深度递归网络模型;(2)目光注视点不仅作为视觉显著性特征应用于同步模型,同时也作为异步事件的驱动,模拟长时间的时许序列中动作之间的交互关系;(3)对视频帧序列进行打分,减弱冗余帧对实验结果的影响。我们在两大开源的第一人称视频数据集GTEA Gaze和GTEA Gaze+上进行了全面的评估和实验,实验结果表明,我们的第一人称视频分析方法优于当今最先进的算法。