基于交替方向乘子算法的L1正则化极限学习机的算法研究

来源 :北京化工大学 | 被引量 : 0次 | 上传用户:LEAMI
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着计算机性能的提升,神经网络的快速发展,选择合适的网络结构避免前馈神经网络出现的过拟合问题,求取更优的参数一直是研究的重点。针对高维度非线性系统回归以及数据分类问题,本文提出了基于交替方向乘子算法的l1正则化极限学习机算法,论文的主要研究成果如下:  1.提出基于交替方向乘子算法(alternative direction method of multipliers,ADMM)的l1正则化极限学习机算法(l1-regularized-ELM),并与偏最小二乘(Partial Least Squares,PLS)结合,提出基于偏最小二乘法的l1正则化极限学习机学习算法(PLS-l1-ELM),为了提高网络模型精度,提出混合预测模型。  在目标函数中加入l1正则化能产生稀疏模型,同时能够有效地避免由于隐含层结点过多而造成的过拟合问题,增强神经网络的稳定性和泛化能力。但由于加入了l1正则化惩罚项,目标函数不可微,在规定的计算复杂度下,用常规的凸优化方法很难求解最优值。本文介绍了ADMM分布式求解该凸优化问题的方法,其具有对偶分解和增广拉格朗日方法的共同特点,实验仿真表明提出的方法具有良好的性能。文章中用常微分方程(Ordinary differential equation,ODE)的方法给出了l1-regularized-ELM的收敛性证明。为了进一步提高预测模型的鲁棒性和精确度,本文提出了混合预测模型,即在先分别建立PLS,l1-regularized-ELM和PLS-l1-ELM三个子模型后,通过主元回归分析(Principal Component Regression,PCR)将三个子模型组合成一个混合预测模型。将PLS,l1-regularized-ELM,PLS-l1-ELM和混合预测模型分别用在航煤干点软测量中,证明了混合预测模型具有较高的建模精度。  2.提出基于在线交替方向乘子方法的神经网络稀疏监督学习算法  随着数据样本量越来越多,数据维度越来越大,很容易陷入“维数灾难”,而且真实数据中通常会有很多噪声或者无用的信息。如何在这些干扰信息下快速精准地获得数据模型至关重要,尤其是在线建立数学模型以及对数据进行分类是非常有意义的。根据递推最小二乘的思想,推导出递推形式的交替方向乘子算法,改进的交替方向乘子算法降低了算法复杂度,能够实现在线学习。实验结果表明,该算法针对具有较高维度的数据处理问题具有更好的建模效果和更高的分类精度。
其他文献
本文针对机器学习中的数据不平衡问题进行研究,提出了一种均衡采样的方法。该方法采取过采样和欠采样相结合的策略,使少数类数据增加的同时,多数类数据集相应地减少,当数据集
社区问答(Community Question Answering,CQA)系统是一种较高级别的信息检索系统。与搜索引擎不同,CQA系统中存在大量由社区成员长期维护的问题和答案,信息质量较高;CQA系统返回
随着能源危机和环境污染问题日益严重,越来越多的人们开始关注新能源的开发及各类能源的综合利用。温差发电作为一种新型的环境友好型发电方式,具有安全、清洁、易于维护、可靠性高、寿命长、无噪声污染和有害物质排放等优点。目前它已经广泛应用于航天与军事领域,但在民用方面还处于初级发展阶段。本课题为我校轻工与能源学院新建实验室配套项目,由我独自承担,其目的是研制一个半导体温差发电实验装置。通过演示温差发电的整个
随着世界各国军事现代化建设步伐越来越快,各类先进武器设备的动态性能越来越高,如何解决高动态条件下的导航定位问题已经成为各国科学家关注的焦点问题。鉴于捷联惯性导航系
我们的日常生活中存在大量的优化问题,它构成了我们日常生活中的重要组成部分。最初的优化方法是使用传统的数学方法进行优化,但是随着优化问题越来越复杂、难度越来越大,传统的
膜计算优化算法是一类受膜计算的启发而提出的优化方法,在前人对膜计算优化算法的研究基础上,本文对膜计算优化算法的改进作了进一步研究,设计了新的进化规则,并将改进后的算法用
永磁同步直线电机被广泛应用于现代机床、交通运输、物流运输装置及各种信息设备中。直线电机因为其推力大、结构简单、效率高等特点,成为一种新型驱动技术。由于端部效应和齿槽效应,直线电机的推力极易产生波动,影响电机的性能,因此抑制直线电机的推力波动具有十分重要的意义。本文通过分析永磁同步直线电机的结构特征,提出一种优化电机结构的方法,试图通过改善电机结构参数抑制齿槽转矩脉动,进而减少推力波动。文中建立电机
阀门作为一种流体控制设备,被广泛应用于电站建设、石油化工开发、城建系统完善等国民经济建设的重要领域。但是在阀门应用过程中,由于老化、腐蚀和操作不当等原因造成的阀门泄漏问题严重,因此研究阀门泄漏检测方法具有重要的意义。对于阀门泄漏故障的检测,国内外学者已经做了大量的研究,提出了压降法、热红外法、振动法、声发射法与声波法等检测方法。其中振动检测法检测灵敏度高,但是抗干扰能力差;声发射法稳定性好,但是信
文物古迹是一个国家和民族文明发展、变迁的载体,是研究人类社会发展的重要来源。目前,野外古迹监测系统主要以半人工监测的方式为主,通过在古迹监测区域部署视频监控、红外探头
近几年,在未来互联网的研究中,全新网络架构的设计引起了大家的广泛关注。该领域许多的研究项目在美国国家利学基金的支持下先后成立。Mobilityfirst就是其中专门针对移动网络