基于深度学习的增强型视频编码的研究与应用

来源 :西安电子科技大学 | 被引量 : 0次 | 上传用户:jjfhui
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网的发展,视频应用需求急速增长,形式更加多样化,同时也为网络带宽和存储带来了巨大压力。虽然如HEVC等当前流行的视频压缩编码标准已经较为成熟,但面对日益增长的视频数据量和越来越灵活多变的应用场景,其压缩效率仍有进一步提升的空间和需求。与此同时,以卷积神经网络为代表的深度学习算法从2012年以来发展迅速,在图像处理、分类识别等多个领域内获得了引人注目的成果。如何将深度学习工具灵活应用于视频编解码系统中从而提升编码器压缩效率,成为了一个颇受关注的研究领域。另一方面,传统编码框架对于可编码视频的形式限制严格,在面对如虚拟现实、可交互视频等新兴应用场景时适应能力差,往往为了实现特殊功能而牺牲了压缩效率。如何运用诸如可分级编码等扩展编码标准方案对视频编码技术的应用场景进行有效扩充,也是一个值得关注的问题。基于以上背景,本文将从常规视频编码标准和可分级扩展编码标准两个方面,探究如何利用图像修复、超分辨率等深度神经网络对现有编码系统进行改进和增强,以提升视频压缩效率,并在此基础上对其实际应用进行尝试。对于常规视频编码标准,本文提出了基于神经网络在线学习的高效视频编解码系统,利用一个帧图像修复卷积神经网络(FRCNN)对解码图像进行修复,提升解码图像质量。由于在进行网络训练时,仅使用当前正在编码的视频作为数据集,FRCNN能够充分拟合该视频,即便在低码率下依旧能够达到很好的修复效果。在此基础上,我们将网络中的参数经过位宽缩减、哈夫曼编码压缩后作为编码码流的一部分传输到解码端,保证编解码一致性。与HEVC相比,我们提出的基于FRCNN的新编码系统可以实现3.8%-14.0%的BD-Rate下降。同时,FRCNN作为标准编码器的一个外挂模块,不会对原本编码器做任何修改,与HEVC是完全兼容的。针对分辨率可分级编码,我们设计了图像修复-超分辨率综合卷积神经网络来代替标准中原生的图像插值器用于处理基本层的重建图像,从而为增强层提供更加精准的层间参考,大大提升了增强层的编码效率。该网络包含修复子网络、超分子网络前后两个部分并分别设置了不同的目标函数,可以加快网络训练、提升处理效果。实验证明,使用该定制网络可以使增强层比特率减少最高40%,总码流平均减少5.3%。在此增强可分级编码器的基础上,我们还设计了全景视频应用场景下的高效在线可伸缩编码解决方案,希望为现有编码标准灵活应用于新兴视频应用场景提供新的思路。
其他文献
<正> 织物的手感,一般认为是织物的某些机械物理性能和表面性能,通过人手的触感而引起的一种综合反映。它是组成织物风格的一个重要部分,也是评定织物品质的重要方法之一。关
煤矿事故中发生概率最大的就是塌方,因此研究煤矿综采工作面的支护问题就显得十分重要。本文主要分析了煤矿开采工作面的几种支护问题,希望可以减少煤矿开采工作中的事故。
在终身教育背景下,我国成人高等教育已逐渐成为社会人才的重要供给来源,在社会经济建设中发挥着积极作用。随着我国教育改革事业全面推进,成人高等教育也实现了快速发展,并取
视频编码作为压缩视频的一种重要手段,目前最新的一代视频编码标准为HEVC,HEVC不仅获得了高额的压缩率,而且大幅地降低传输码流大小。但是在低码率下,由于编码器采用较大的量化参数,会引入很大的压缩失真,其中图像细节丢失,视频图像中会出现严重的伪影现象,造成图像的严重失真,使人为观感受到了极大的影响。针对低码率视频编码过程中采用较大量化参数导致的压缩失真过大的问题,研究了基于深度学习的低码率视频编码
深海采油平台与传统的导管架平台有很大不同,主要体现在动力响应、主要结构件形式、主要结构块之间的连接方法和分析方法方面.文章对深海平台的上述特点作了评述.,并根据初步
目的:探讨(鼻)面罩无创呼吸机辅助通气(BiPAP)治疗慢性阻塞性肺病(COPD)合并呼衰的治疗作用。方法:22例COPD急性加重合并呼衰患者应用BiPAP呼吸机辅助通气治疗,记录通气治疗前后血气
阐述了生物能源的相关概念;分析了云南生物能源原料资源概况。云南生物能源原料主要有甘蔗、玉米、薯类、大豆、油菜、麻疯树、光皮树。根据云南资源与气候条件,提出云南发展生
“工学结合”教育模式是长期教育实践的结晶,并具有多维培养目标。真实的工作环境体验融入是“工学结合”教育模式的核心。如何将该理念深入渗透到高职的英语教学中,一直是许多
一、当好货币政策的"传导者".执行货币政策是人民银行基层支行的首要职能,一是要加强引导和督导,促使辖区金融机构行为与人民银行货币政策意图"合拍",提高货币信贷政策传导的
随着当前人们生活质量,包括生活水平的不断提升,人们对于当前的建筑工程质量的要求也在不断地变化,依据人们的住房需求以及住房要求,建筑工程施工团队在进行整体施工过程当中