面向生成式神经网络的高能效可重构加速器关键技术研究

来源 :清华大学 | 被引量 : 0次 | 上传用户:zhangsanzong
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,人工神经网络技术在各类场景中发挥着重要的作用,它被广泛用于计算机视觉、语音识别、自动驾驶等领域。其中生成式神经网络是一种由卷积、反卷积、残差模块组成的神经网络。它在计算机视觉领域,如图像超分辨处理、风格迁移等任务中起到关键作用。智能化应用要求计算设备具备高性能、强实时性、低功耗的信息处理能力。传统神经网络加速器往往研究如何高效执行卷积,但在执行反卷积和残差结构时,却有着很低的硬件资源利用率。本文以提高加速器的能效为主要目标,结合运算本身的特点,提出了一套硬件加速器架构和神经网络映射、调度技术方案。本论文的主要内容如下:1.提出可重构精度自适应处理单元及片上缓存带宽。分析了神经网络模型被定点化压缩算法处理后,各层数据位宽不同的特性。针对传统并行乘法器硬件资源利用率不高的问题,提出可重构处理单元方案。该方案下,硬件可执行多比特计算任务,且在不同计算精度模式时,并行计算能力不同。提出可重构片上带宽的方案,带宽随不同计算模式变化,有效匹配了计算力。针对风格迁移、超分辨等生成网络任务,进行压缩处理,探究数据精度、性能和网络识别率三者的关系。2.分析生成式网络模型的计算特性,揭示了卷积与反卷积运算对偶的特性。针对处理单元负载不均衡的问题,探究计算任务映射到片上运算阵列的过程,面向反卷积操作,提出输入数据导向的映射方式IOM;面向卷积操作,提出输出数据导向的映射方式OOM。充分考虑了计算模式、数据复用技术以及各个模块间协同配合,与传统的卷积映射方案相比,可以有效地提高硬件资源利用率,并且提升架构的并行计算能力。3.根据残差运算模块计算访存比低的特性,针对传统的逐层计算模式访存功耗大、计算效率低的问题,提出跨层数据流调度方案。充分考虑残差结构中的级联关系,提出混合层计算的方式,有效减少执行残差结构时的片外访存,且使得点加操作与卷积层操作并行执行,提高了加速器并行计算的能力。本文的GNA加速器在200MHz工作频率下,平均功耗142m W,实现409.6GOPS的计算力。它支持8比特、16比特等混合精度运算,面向生成式神经网络任务达到2.05TOPS/W的能效,满足了神经网络对硬件加速器的低功耗、高性能、高灵活性的需求。
其他文献
吕新是中国当代富有探索性和想象力的作家,他以现代化的小说形式和语言书写二十世纪六七十年代的晋北山区生存图景,塑造了自己的晋北小说世界。吕新的先锋写作从八十年代贯穿
在早期的文本生成图像的研究中,可变分自动编码器VAE是最常用的方法,它可以通过编码文本然后解码来生成相应的图像。但是由于可变分自动编码器VAE模型本身存在局限,导致生成
绿色发展是新时期我国经济社会发展的重大战略。如何在保持经济增长、提升生产效率的同时,促进环境保护与绿色转型发展,提升绿色绩效,已成为当前我国环境治理的重大难题。始
计算机、通信技术的高速发展使人类社会发生了前所未有的变化,人机交互(Human Computer Interaction,HCI)从计算机为中心逐步转移到以人为中心。传统的手势识别方法由于穿戴
非易失性内存(Non-Volatile Memory,NVM)拥有读写速度快、可字节寻址、可持久化等特性,在未来很有可能成为计算机系统主存的替代品。但是,写入不均衡问题会限制NVM的使用,即
2020年1月底,一家名为“浑水”的做空机构在其官网发布了一份做空中概股瑞幸咖啡的报告,该报告不仅直言瑞幸商业模式存在重大缺陷,还指控其财务造假,虽然瑞幸对此予以否认,但事实胜于雄辩,4月2日,瑞幸承认在财报中虚报了22亿人民币的收入,此消息一出,直接造成其当日股价暴跌75.57%,并引发新一轮中概股连锁信任危机。在这一背景下,本文选取瑞幸事件作为案例研究对象,重点研究事件原因和由此引发的新一轮中
在植物的生长过程中,及时确定病害的严重程度对维持植物的健康起着重要的作用。农业技术人员大多采用肉眼观察的方法估算植物的病害程度,这种传统方法缺乏科学性和客观性,一
图像作为一种历史悠久的信息载体,自古以来在人类的生活和工作中都起到了非常重要的作用。随着高科技的飞速发展和电子数码产品的普及,图像越来越多的被应用到人们生产和生活
随着互联网的出现,现代人的生活已经完全改变。随着现代技术的发展,互联网开始渗透到人类生活的各个领域。互联网也已成为社交交流的重要渠道。该网络的出现和发展,信息技术
背景胆管扩张症(biliary dilatation,BD),又称先天性胆管囊肿,是临床上少见的胆道发育异常疾病。包括了肝内与肝外不同位置多发或孤立的胆管囊状扩张病变,其中肝外胆管扩张症(extrahepatic biliary dilatation,EHBD)是临床上最常见类型,占90%以上。因病变胆管反复受到炎性刺激,有较高的癌变风险,成人癌变率最高达28%,因此胆管扩张症的早期诊治非常重要。