基于视觉显著性的网络丢包图像和视频的客观质量评估方法研究

被引量 : 0次 | 上传用户:zlotu
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着网络视频在娱乐、教育、商业等方面越来越广泛的应用,高品质的视频压缩技术不断推陈出新,用户对高质量视频的需求也随之不断提高。然而,以网络为载体的视频数据除了会遭受有损压缩带来的量化编码失真,还会在传输过程中遭遇信道传输的拥塞或延迟而造成的数据包丢失。由于视频的压缩和解码中广泛采用了空间-时间运动估计技术,因此,视频数据包的丢失会严重影响解码后终端视频的观看质量。受网络丢包损伤的图像和视频具有独特的视觉特征,而目前的客观质量评估研究还主要集中在对压缩编码失真的评估。因此,对受丢包影响的图像和视频进行有效地评估,特别是建立一种符合人眼视觉感知特性的客观质量评估方法,对于网络服务的设计和监控具有重要的意义。本研究主要面向受网络丢包损伤的图像和视频,从研究丢包失真图像和视频的视觉特征出发,结合人眼视觉的选择性注意特性,提出了基于视觉显著性的全参考客观质量评估模型。本文的主要研究内容及贡献如下:在对网络丢包失真图像和视频的空间-时间视觉特征进行分析的基础上,本文提出结合人眼视觉系统的显著性视觉注意特性来评估网络丢包失真图像和视频的感知质量。图像和视频的视觉显著注意信息通过采用Itti的自底向上显著区域检测模型得到。对于动态视频的应用,本文将运动作为另一种显著特征,通过结合生物启发式HR运动感知检测模型,在Itti的显著区域检测模型中实现了基于生物相关的HR多尺度显著运动感知模型。本文分别针对网络丢包图像和视频构建了两个数据库。原始视频采用17个来自美国某视频研究所的标准视频序列,并模拟网络丢包事件构造了受丢包损伤的重建图像和视频序列。为了排除长视频序列中由于丢包所在位置、长度、以及宽恕效应等因素的影响,使得视觉显著性信息能够充分反映网络丢包视频的视觉特性,每个测试视频为只含有单个丢包事件的短视频序列。对于每一个数据库,本文都按照ITU-R BT500-11标准严格实施了单激励主观质量评价实验,其结果为论文的客观质量方法提供了评价标准。通过探索人眼视觉系统自底向上以图像数据为驱动的预注意机制原理,根据网络丢包损伤图像/视频的空间视觉特征提出假设:丢包引入的失真在视觉显著注意区域比出现在背景等非视觉注意区域更影响图像/视频质量。借鉴HVS对失真信息进行加权的质量评价思想,论文首次将视觉显著注意信息应用到受网络丢包损伤的图像/视频,提出一组基于视觉显著失真的全参考客观质量评估方法。通过探索人眼自顶向下以先验认知为指导的高级视觉注意机制原理,根据网络丢包损伤图像/视频的空间-时间视觉特征提出假设:人眼总是容易被一些突然引入的异常事件,或者局部异常的区域所吸引;这是由于这些事件或区域与人眼在先验感知指导下的期望注意区域产生了差异,而因此导致了注意视线的改变。通过考察网络丢包失真图像/视频与参考图像/视频相比在空间上引起的视觉注意变化,以及在视频时间域上引起的不同幅度的视觉注意变化,并根据这些变化相应的视觉显著性在空间上的差异和在时间上的变化幅度,本文创新地提出基于视觉空间-时间显著性变化的全参考客观质量评估方法。在对以上提出的两类视觉显著性质量评估方法进行综合比较后,论文对所有的质量评估方法进行了最佳单调映射变换,并将其作为构建统一评估模型的评价因子。通过应用逐步线性回归分析以及交叉验证方法,本文分别针对网络丢包单个图像以及视频序列构建了基于视觉显著信息的线性评估模型。通过与传统的没有考虑视觉显著信息的客观质量评估模型以及标准的视频评估模型对比,实验结果表明,本文提出的基于视觉显著性的客观质量评估模型能够有效地评价网络丢包损伤图像和视频的感知质量,视觉显著性信息是构建面向网络丢包损伤图像和视频客观质量评估方法的有效且重要的视觉信息。本论文为基于视觉选择性注意的图像和视频质量评价研究的发展开辟了新的思路,为人类视觉感知信息的探索和应用提供了一些有意义的参考。
其他文献
章亚成教授是南京中医药大学教授、硕士研究生导师江苏省中医院血液科主任医师,在临床工作中对血液病的治疗提出了中医治疗血液病四法和调护四法。本文对章教授的经验进行初
网络教育时代的到来对儿童的品德心理教育与发展带来了机遇与挑战 ,教育者要了解这些方面并采取一定的措施才能使网络发挥其优势 ,克服其不利影响
木质纤维原料的蒸汽爆破处理过程是一个极为复杂的过程,其中包含着无数的化学反应和物质结构的变化。本研究通过蒸汽爆破法处理棉秆纤维,探讨处理的不同工艺参数对纤维的形态
团花剪纸有狭义和广义之分,狭义的团花剪纸兼具团形和旋转对称特征,广义的团花剪纸具备团形外廓,有的折叠,有的不折叠,以外廓圆形与其他品类的剪纸相区分。团花艺术是中国艺
随着所拥有财富的增多,人们会利用手中财富进行一定的投资以保持手中财富的增长。生活中由于银行存款利率并不能满足人们对财富增长的需要,且可供选择的其他投资理财渠道较为
21世纪人类发展的主要特征即为人口老龄化,随着全球人口老龄化趋势日益明显,老龄化所带来的社会问题日益加剧。我国老年人人口基数庞大,老龄化进程时间短、来势猛,对社会管理
随着社会主义民主进程的加快,我国行政体制改革越来越受到各阶层的关注,学界对其研究的领域也越来越广泛、越来越深入、越来越具体,作为其重要内容,执法方式变革这一课题也逐
褶裥是指由熨烫或抽缩形成的有规律的类似波峰与波谷的曲线,在服装造型中的应用极其广泛。而且,织物褶裥性能的评价是纺织外观性能评价的一项重要指标。传统的评价方法为主观
盲琴童在进行器乐学习时既有优势又有劣势。劣势在于他们不能直观地看着乐谱练习,在学习一首新的乐曲时他们要花费比普通琴童更多的时间先背谱,再练习。其优势体现在盲琴童学
<正>2018年11月26—27日,由河南省越调艺术保护传承中心(河南省越调剧团)演出的大型新编历史剧《老子》,相继受邀走进北京清华大学和中国传媒大学,为高校师生提供近距离感受