【摘 要】
:
在人体姿态估计的研究中,对包含人体的图像进行识别并估计出其中人体的二维(2D)姿态,是机器视觉研究领域相当重要的基础性工作,但是由于肢体的复杂性、摄像机角度等客观原因,使得图像中的人体经常存在不同程度的扭曲和遮挡;同时,人体姿态估计在实际的应用过程中,所需要保证的实时性和易移植性,对姿态估计网络的模型复杂度也有一定的要求,这使姿态估计变成一项极具挑战性的任务:标准的深度神经网络(DNN)在面对较为
论文部分内容阅读
在人体姿态估计的研究中,对包含人体的图像进行识别并估计出其中人体的二维(2D)姿态,是机器视觉研究领域相当重要的基础性工作,但是由于肢体的复杂性、摄像机角度等客观原因,使得图像中的人体经常存在不同程度的扭曲和遮挡;同时,人体姿态估计在实际的应用过程中,所需要保证的实时性和易移植性,对姿态估计网络的模型复杂度也有一定的要求,这使姿态估计变成一项极具挑战性的任务:标准的深度神经网络(DNN)在面对较为复杂的人体姿态和客观场景时,估计精度往往不够高;而部分姿态估计网络模型,却因为结构过深等原因,导致训练出来的模型复杂度过大。本文基于深度对抗神经网络对2D人体姿态估计进行研究,针对上述存在的问题,主要完成了以下工作:(1)对本文工作中的基础网络:堆叠沙漏网络(SHN)进行深入的研究,并进行了复现实验,在复现实验中提取并分析比较了目标网络在不同的结构阶段以及不同测试集输出的姿态估计结果,实验中测试集关键点正确估计百分比PCK和PCKh值分别为89.0%和88.5%,证实了SHN结构设计的合理性和有效性,同时也发现了SHN在姿态估计研究中的不足:对于图像中人体关节存在遮挡、肢体扭曲、肢体特征信息不明显等情况,其姿态估计的精度会有很大程度的降低,使得SHN的姿态估计性能有所受限,两种遮挡的测试样本集PCKh估计值仅为71%和59%。(2)将生成对抗网络应用于人体姿态估计。把SHN进行两次生成对抗训练,同时把惩罚奖励机制、边界参数均衡机制、肢体几何约束纳入二次对抗模型中,得到最终的姿态估计模型SHN。在公开数据集上对本方法进行测试,实验结果表明,该方法能有效提升复杂情况下SHN的姿态估计精度,PCK和PCKh值分别达到了94.8%和92.2%,同时测试样本均方估计误差MSE得到较好的降低,两种遮挡的测试样本集PCKh估计值分别达到了81%和78%。但是本章对抗训练得到的SHN的模型因为姿态估计需求和结构模块设计等原因的不同,其样本平均处理时间、样本平均浮点运算次数、模型参数数量等复杂度相关指标相比于其他SHN却有所增加。(3)针对(2)中存在的问题,在保持姿态估计精度下降不大的前提下,降低SHN的模型大小和复杂度。基于(1)的实验结果,通过减少网络的堆叠数量和通道数量对SHN进行轻量化处理,从而构建一个复杂度较低的SHN网络;同时将残差模块改进为沙漏残差模块,以获得更大的感受野和局部细节;把部分最近邻上采样替换为双线性插值上采样,以提高上采样以后的特征图像质量。消融实验和对抗训练实验的结果表明:通过网络的结构改进,能有效降低优化目标网络SHN的模型大小和复杂度,复杂度相关指标相比于(2)中的网络得到大幅度降低;同时,SHN的姿态估计精度也并未受到太大影响,PCK和PCKh值分别为93.7%和91.5%,测试样本均方估计误差MSE依旧比原始SHN更低,两种遮挡的测试样本集PCKh估计值分别为77%和73%。
其他文献
近几十年来铁酸铋由于其在室温下表现出良好的多铁性能及光学性能使其在存储器以及光伏领域受到广泛的关注。但是较大的漏电流密度以及较弱的磁电性能限制了他的应用,众所周知通过A、B位掺杂可以改善这些缺陷并提高性能,本文使用溶胶凝胶法合成了A位单掺Gd、AB位Gd、Mn共掺杂以及AB位Gd、Co共掺杂三种体系的BiFeO3薄膜主,主要研究结果如下:用溶胶凝胶法在Pt/Ti/SiO2/Si和ITO衬底上合成了
神经网络作为一种具有高度并行处理能力的网络结构,在解决工程问题方面已发挥重要作用,但将其与种群进化结合的研究较为罕见。为此,在探讨果蝇视觉系统的信息处理机制基础上,研究改进型前馈果蝇视觉神经网络,并将其与梯度下降法及种群进化思想结合,研究求解最优化问题的果蝇视觉神经网络优化算法。研究工作不仅有助于获得介于计算机视觉与智能优化之间的交叉性研究成果,而且能为最优化问题的解决提供并行处理方案。主要工作和
近年来,随着深度学习技术的不断发展,卷积神经网络在图像识别、场景分类、语音识别等多个应用领域展现出了巨大的优势。然而在解决更加抽象和复杂的问题时,卷积神经网络本身也变得更加复杂,网络规模更加庞大,算力要求也更高。如何加快卷积神经网络的计算速度,使其能够较好的部署在移动端从而降低延迟、增加系统性能成为了亟待解决的问题。FPGA作为一种可编程逻辑器件,其功耗低,体积小,性能强,非常适合部署在边缘计算移
氮化镓(GaN)是Ⅲ—Ⅴ族宽禁带半导体材料,拥有热导率高,化学性质稳定以及抗辐射能力强等优势,有望大规模应用于微波功率器件、蓝色光发光器件以及5G通信器件等领域。本文以氮化镓为研究对象,采用分子动力学模拟的方法研究了快速冷却过程中GaN体系中纤锌矿结构与闪锌矿结构的竞争生长。首先探究了不同冷速、不同压强对于体系结晶能力的影响,其次探究了不同冷速、不同压强条件下纤锌矿结构与闪锌矿结构的生长情况,最后
由于钇铝酸盐具有杰出的化学稳定性、热稳定性以及优异的光学性能,所以被广泛应用于荧光粉的制备,其在固态照明显示领域具有广阔的应用前景。本文选定Ba2YAl O5(BYAO)作为荧光粉的基质材料,对其掺杂稀土离子,研究材料的合成与制备工艺、形貌、发光特性、热稳定性、色纯度以及色温。1、制备了BYAO:x Eu3+红色荧光粉。研究了其晶体结构和发光特性,激发光谱由O2-→Eu3+之间电荷迁移带和Eu3+
随着圆极化在越来越多的领域中广泛应用,其元件的载体形式也越来越多样化。在通信设备上,载体空间紧凑,要求天线不破坏载体的体积和物理外观;在高速移动的载体上,要求外露式天线不破坏载体的气动性能。基于此对圆极化柱面共形天线进行了研究。(1)一种低剖面圆极化微带天线的简单实现方法以低剖面圆极化天线的广泛应用为背景,提出了一种低剖面微扰型圆极化天线的简单实现方法。通过在地板上引入微扰圆孔,不破坏辐射贴片的结
随着电力系统的更新换代,智能电网作为下一代新型电网,其对发电、配电和用电等进行全面升级以提高传统电网的整体性能。研究表明智能电网的无线通信环境存在频谱短缺、资源利用效率低等问题,因此将认知无线电技术应用于智能电网通信中,将有效解决智能电网无线通信发展的频谱资源瓶颈问题,提高频谱资源的利用效率和双向的数据传输速率,推进智能电网的发展,提高智能电网建设水平。本文在上述研究背景下,主要完成的工作如下:(
蝗虫是一种对运动目标变化极其敏感的昆虫,其视觉系统能实时地感知运动目标的运动行为,此独特的视觉响应特性为计算机视觉提供了新的生物理论基础。将蝗虫的视觉信息处理机制与种群进化思想结合,可建立介于计算机视觉与进化计算之间的视觉进化神经网络优化模型与算法,此将成为智能计算中潜在的研究分支。基于此,借助蝗虫的视觉神经生物理论与物种进化机制,探讨求解大规模全局优化问题的高效优化方法,并展开算法的计算复杂度和
作为新兴的第三代半导体材料,β-Ga2O3因其优异的物理、化学以及光电特性,在功率器件、日盲紫外探测器、透明导电薄膜等领域具有广阔的应用前景。高质量薄膜是制备高效Ga2O3基器件的基础,β-Ga2O3薄膜的制备、表征及光电特性的研究具有深刻的意义。本文以C面蓝宝石(Al2O3)作为衬底,开展了射频磁控溅射沉积β-Ga2O3非晶薄膜、水平管式高温扩散炉异位退火的方法制备β-Ga2O3多晶薄膜的研究。