论文部分内容阅读
半监督学习一直是机器学习与计算机视觉中重要且富有挑战的研究课题。传统方法在给定样本的特征与标签后,通过不同的训练策略学习从特征空间到标签空间的映射关系,最终获得优化后的决策函数。然而在实际应用中,由于安全或成本问题,很多时候我们只能获取部分有标记样本或某一类样本的部分标记。半监督学习目的是寻找如何能有效地利用少量有标记样本与大量未标记样本参与训练,使得最终的决策函数性能可以接近甚至达到全标记的效果。根据未标记样本分布,半监督学习大致可分为两种:(i)每一类中都存在大量无标记样本与少量的有标记样本,针对这种样本分布的学习方法称为经典半监督学习。(ii)样本中仅存在少量正类(负类)样本与大量无标记样本,这种分布样本的学习称之为正样本无标签学习。本文首先介绍了研究背景、领域的发展历史及主流方法,随后针对经典半监督学习与正样本无标签学习的样本分布特点,创新性地提出了两种鲁棒性较高的算法。大量的对比实验结果证明本文提出的方法在多个真实测试集上的表现均优于现有最好方法。最后本文针对实际工业中遇到的问题,结合半监督学习与深度学习,提出了一种全新的利用深度网络预测信号传播的实现方案。本文的主要研究内容和创新点如下总结如下:1.传统的半监督学习致力于如何有效地利用大量的未标记样本来提升训练效果,然而由于其标签信息的缺失,未标记样本的分布通常是不准确的。同时,之前的工作很少有提出如何更有效利用少量有标记样本的研究。本文借鉴人类认知的学习过程,在仅引入少量标记成本的条件下,为有标记样本提供“特权信息”以指导特征空间的决策函数,而在验证过程中仅使用常规特征进行预测。本文提出的方法仅在引入少量的附加标记成本下,使得预测精度比已有的半监督方法提升明显。2.传统的正样本无标签学习由于模型结构的限制,无法处理大规模数据。本文将正样本无标签学习与深度学习相结合,设计了一种可处理大规模数据,且端到端的训练方法可以将提取特征与训练分类器结合到一起。同时提出了一种新的损失函数“MNRE”,可以结合目前现有的正样本无标签学习的损失函数和流形正则项共同训练网络,使得最终的网络结果不仅考虑到样本在统计意义上的分布,还兼顾样本间的结构信息。该方法在多个大型数据集上与现有的最好方法相比有明显提升。3.目前的半监督学习仅适用于图像或文本场景,并没有信号传播的相关应用研究。本文结合实际项目应用,设计了一种适用于预测信号传播的半监督深度网络“SSig-Net”。SSig-Net可以同时输入有标记与无标记样本进行训练,从而提升模型的跨场景预测能力。同时本文针对信号的传播特性,将传统的滑动平移卷积修改为放射式卷积,使得卷积层的操作更符合信号传播的规律。大量的实际对比实验证明了该方法适合于信号传播模型且对预测精度的提升有着很大帮助。