【摘 要】
：
当前随着深度学习研究的日益深入,深度神经网络算法在数字图像处理、语音识别、自然语言处理等诸多领域崭露头角,呈现出很好的发展态势。三维卷积神经网络是深度神经网络的一个分支,相比普通的神经网络,它可以适应更高维度、更复杂的数据处理,比如视频分类、医疗图像分割、点云数据处理等。三维卷积神经网络的优秀性能已经得到了公认,但其巨大的计算量和数据量也限制了其推广应用,因此研究三维网络的硬件加速方法成为了一种必
论文部分内容阅读
当前随着深度学习研究的日益深入,深度神经网络算法在数字图像处理、语音识别、自然语言处理等诸多领域崭露头角,呈现出很好的发展态势。三维卷积神经网络是深度神经网络的一个分支,相比普通的神经网络,它可以适应更高维度、更复杂的数据处理,比如视频分类、医疗图像分割、点云数据处理等。三维卷积神经网络的优秀性能已经得到了公认,但其巨大的计算量和数据量也限制了其推广应用,因此研究三维网络的硬件加速方法成为了一种必然的趋势。FT-DSP是一款国产自主研发的数字信号处理器（Digital Signal Processor,DSP）芯片,具有高性能、可编程、支持标向量运算的特点,以往研究表明DSP的结构特点非常适合于卷积计算。在此背景之下,为了拓展国产DSP的应用场景,同时改进国产DSP体系结构以适应未来智能计算的时代,本文紧密结合FT-DSP架构特点,系统研究了三维卷积神经网络中卷积、池化、全连接等不同层次的向量化映射计算方法,并相应设计出权重参数的高效数据访问方法。本文基于对深度学习算法的硬件加速理念,实现了完整三维卷积神经网络算法在DSP上的映射编程和优化方法。本文的主要工作和创新点包括:1.基于FT-DSP芯片结构挖掘算法的并行性,对于算法中最主要的三维卷积计算提出向量化映射方法,创新性地将卷积计算转化为向量运算,充分利用DSP中的标向量计算资源;此外对于计算过程中涉及的大量权重参数设计出分组访问方案,实验结果表明不同规模的三维卷积层在FT-DSP均能实现较好的加速效果。2.针对三维卷积网络中的池化层、全连接层、Relu层、Padding层提出相应的向量化映射和分块计算方法,将求最值、矩阵乘法等运算转换为向量方式进行。3.针对卷积层进行优化映射,提出基于Winograd算法的向量化实现方法,通过矩阵变换使用廉价的加法计算来代替昂贵的乘法计算,从而实现基于算法层面的优化,能够有效降低总的计算次数和计算时间。
其他文献
天基红外光学监视系统利用部署在多个轨道平台所组成的光学传感器星座,对弹道导弹、航天发射等重要事件进行实时探测、跟踪、识别以及预报。对国土安全可能存在重大威胁事件的即时发现,有助于快速反应及时决策,增强我国战略防御能力。在这种应用背景下,天基红外光学监视系统面临着多种类、多型号目标的威胁考验。所以天基光学监视系统采用的探测体制和其中涉及的信息处理技术对系统效能具有决定性影响。天基红外光学监视系统星座
虽然当前基于图像的三维重建已经取得了较大的成功,但是有一类物体表面的重建效果仍然不理想,这类表面在现实场景中非常常见,主要包括镜面物体（比如玻璃、水面等）和弱纹理物体（比如白墙、瓷砖地面等）的表面。在传统的三维重建框架中,该类表面在稠密点云重建过程后会出现点云缺失的情况,造成没有足够的点云支撑进行表面重建,所以称之为弱支撑表面。本文主要针对含此类表面中平面形状的场景（即“弱支撑平面”）的三维重建问
移动机器人同步定位与建图（Simultaneous Localization and Mapping,SLAM）方法是用于机器人环境感知和导航的主流建图方法。传统的视觉SLAM方法中RGB-D信息非常重要,系统可以从RBG-D相机中获取颜色和深度等数据,其中,在获取深度数据的过程中会受到距离、光照等因素的限制,难以获得较好的建图效果。单目相机结构灵活、价格低廉,在实际中有较高的应用价值。如何使SL
受限于高中教学课时、安全风险及新冠疫情等因素，户外远距离开展研学活动以培养学生的地理实践力较为困难。本文以重庆南山风景区为研学活动基地，依托基地的研学资源，从研学设计思路、研学主题及目标设计入手，围绕“初识南山、探秘南山、造化南山”三大主题进行研学内容、研学任务、活动实施及评价的系统设计。该设计方案有利于提高学生的地理调查与考察能力，增强学生地理实践力。
近年来5G技术发展成熟,移动设备中相机配置越来越高,人们更愿意拍摄视频上传到网络上,互联网上视频数量持续急速增长,因此迫切需要高效的视频处理方法来满足海量视频处理的需求。视频分类技术是根据视频中内容自动判断视频所属类别的技术,是视频处理领域的重要组成部分,是计算机视觉领域的基础研究课题,对视频分类技术进行研究是必要的,同时视频分类技术也可以被广泛应用到生活中的各个领域,所以对视频分类任务的研究正在
在这个计算机、通信发展迅速的年代,人们接触到的文本、视频、音频,包括图像等多媒体信息越来越多。通过互联网,人们正在一步一步的实现全球多媒体信息的共享。用户对多媒体信息的查询也变得越来越普遍。各种新的应用需求也随之而来。跨媒体检索技术,指的不同模态之间可以相互交叉检索的检索方式,即通过某一种模态的实例检索出与之语义相关的其它模态的样本。跨模态检索到的结果与单模态相比,内容丰富,能将查询对象更加立体地
近几年,在计算机视觉领域,目标跟踪问题成为研讨热点之一。视频单目标跟踪是计算机视觉的重要研究课题,在视频监控、机器人、人机交互等方面具有广泛应用。作为计算机视觉领域的关键问题,单目标跟踪算法可以根据在连续图像序列中的跟踪信息,绘制给定物体的轨迹信息,方便后续进行行为分析和异常检测。大数据时代的到来及深度学习方法的出现,为视频目标跟踪的研究提供了新的契机。因此,单目标跟踪问题具有重要的理论意义和研究
视频目标分割是计算机视觉的重要研究内容,在视频监控以及人机交互等领域具有广阔的应用前景。随着深度学习在视频目标分割任务上取得重大突破,如何将性能优异的视频目标分割模型快速应用到实际的监控场景中,已经成为建设智慧城市、维护公共安全的迫切需求。本文针对实际应用场景下的视频目标分割问题,着重解决在实际应用过程中进行快速准确的视频目标分割,论文的主要创新点包括以下几个方面:（1）提出了一种基于目标注意力机