语义分割和目标跟踪等高级视觉理解任务,是计算机视觉领域的重要研究问题。近年来,深度学习的兴起使语义分割和目标跟踪算法取得了长足进步。由于深度学习在提取特征方面具有显著的优势,研究者们相继提出网络层越来越深、设计越来越复杂的卷积神经网络。这些深度学习算法不断刷新公开数据集上的性能指标。然而,这些深度神经网络模型的训练依赖大规模带标签的数据集。目前的高级视觉数据集却存在如下缺陷:1)语义分割数据集的训练样本不平衡问题;2)语义分割数据集的精细样本标签稀缺问题;3)目标跟踪数据集缺乏对抗样本带来的安全隐患等,这些数据集缺陷很大程度上限制了高级视觉算法的发展。因此,本文针对这些数据集缺陷问题展开基于深度学习算法的研究。首先,针对语义分割的样本不平衡问题,我们提出基于深度模型和损失函数的改进,并构建了真实场景的语义分割数据集,实验证明提出的算法对小样本的语义类别分割有重要的性能提升。其次,针对视频语义分割数据集的精细样本标签稀缺问题,我们提出一种弱监督学习算法,充分利用有限的弱标签和视频时序信息,公开数据集上的实验结果证明提出的算法达到最佳性能和实时运行速度。最后,针对对抗样本问题,我们分析了视频目标跟踪的对抗样本生成原理和方法,通过模拟对抗样本对几种不同跟踪算法的白盒攻击,提出可能的防御方向。本文的主要工作和贡献总结如下:1.本文全面概述了基于深度学习的视频语义分割现状,对现有的深度学习方法进行分类解析和深入对比;对公开数据集与评价指标进行全面总结;对公开数据集上的性能表现进行横向对比分析;并展望了未来可能的发展方向。2.提出了基于非平衡样本的语义分割算法,提出Focal Hinge损失函数来训练基于编解码结构的跨接深度卷积网络,缓解了语义分割算法的样本不均衡问题;构建了真实场景下的语义分割数据集,改善了语义分割算法的场景局限性。3.提出了基于弱标签样本的视频语义分割算法,充分利用基于点标注的弱监督信息和视频流的时序信息进行弱监督学习。提出记忆流蒸馏的训练模块,提升了分割准确率的同时达到实时运行速度。4.分析了视频目标跟踪算法的对抗样本的生成原理和方法,通过研究对孪生网络结构等主流跟踪器的白盒对抗攻击算法,分析对抗样本对目标跟踪算法的威胁程度,并提出该任务未来可能的防御方向。