论文部分内容阅读
极限学习机(ELM)作为一种特殊的单隐藏层前向神经网络(SLFNs),其凭借训练速度快、泛化能力强等优点吸引了众多学者研究。与一般基于反向传播(BP)算法的SLFNs不同,ELM的网络参数无需迭代调优,其输入参数随机生成,输出参数解析计算。然而ELM网络中可能会存在一些作用不大的隐藏层节点,这将导致网络结构变复杂和网络性能下降。而另外一个影响ELM网络性能的重要因素则是其隐藏层输出权重的计算方式。本文对现阶段ELM算法研究的基本问题和改进方向做出了总结,并从隐藏层节点选择和输出权重计算优化两个角度入手研究,主要研究工作如下:(1)基于多响应稀疏回归的正则型增量极限学习机增量型ELM是其中一类重要的ELM算法,其利用增量学习的训练手段,避免了设置隐藏层节点数。本文考虑到候选隐藏层节点之间可能存在冗余的情况,将多响应稀疏回归(MRSR)算法引入到增量型ELM的候选隐藏层节点选择中,优化候选隐藏层节点的排序。另外在增量型ELM的损失函数中添加二阶正则项,并通过分块矩阵求逆的方式得到输出权重的迭代更新公式,提高增量型ELM的鲁棒性和灵活性。通过实验,本文分别验证了以上改进措施的有效性,并且验证了基于多响应稀疏回归的正则型增量极限学习机算法能够获得良好的实验效果。(2)基于随机增强分层极限学习机的表示学习算法如何提高基于ELM的多层神经网络的性能,是将ELM的应用领域扩展至图像分类、语音识别等复杂问题的关键。本文对基于分层极限学习机的无监督表示学习(Hierarchical ELM)的算法框架进行深入研究,提出了新的数据预处理流程,使网络结构更加灵活。同时将增量学习的训练方式引入自编码极限学习机(ELM-AE),增加隐藏层节点选择环节,并优化其输出权重计算,提高ELM-AE隐藏层节点的有效性。另外在Hierarchical ELM的训练流程中增加有监督的卷积核选择环节。通过实验,本文验证了改进版的ELM-AE具有更好的拟合能力,同时验证了基于随机增强分层极限学习机的表示学习算法在图像分类问题上能够取得良好的效果。