随着人工智能的深入发展,机器学习已逐渐成为人工智能研究的核心内容之一,它的应用已遍及人工智能的各个分支,如计算机视觉、模式识别、智能机器人、专家系统、自动推理、自然语言理解等领域。作为机器学习主要研究内容的人工神经网络能够模拟生物神经网络的运行模式,可以出色地执行学习、分类、回归等任务,受到了广泛的关注和研究。本论文重点研究其中的一类人工神经网络——极限学习机(Extreme Learning Machine,ELM)。极限学习机是一种基于随机隐节点(hidden units或hidden nodes)的神经网络,与传统人工神经网络相比,一是它的训练成本极低;二是它可以获得全局最优解;三是它设计灵活简单易于非机器学习领域学者实现;四是它可以在同一个框架下解决压缩、特征提取、聚类、回归、分类等多个机器学习领域的研究问题。但是,极限学习机也存在自身的弱点,比如隐层规模过大会影响算法测试效率,对于一些实际问题分类、回归精度不高等等,因此本论文围绕这些问题对极限学习机的理论和应用两个方面进行研究,主要成果如下:1)提出了一种基于联合稀疏正则的半监督剪枝极限学习机(Joint Sparse Regularization Based Semi-Supervised and Pruned Extreme Learning Machine,S3ELM)的分类算法,该算法目的是在保证分类精度的前提下,精简极限学习机网络规模,加快算法的测试速度,与以往剪枝算法不同,该算法基于-范数正则项,因此是非贪婪式的剪枝算法,而半监督正则项的加入也使算法在只有较少标签信息的条件下获得更为出色的分类效果。我们在人工数据集、UCI数据集、人脸数据集上的数值实验表明,该算法可以很好地优化极限学习机网络结构、精简网络规模、在保证分类效果的同时大大减少测试时间。2,1L2)给出了分片线性可分的数据集在经过一个合适的线性投影之后仍然可以保持线性可分的理论性质,并在此基础之上提出了一个线性维数约减算法。受此理论的启发,提出了基于局部线性可分性的极限学习机(Local-Linear-Separability based Extreme Learning Machine,LLS-ELM)算法,与传统极限学习机随机隐节点独立于数据的设计不同,该算法依赖于训练数据的分布,但同时保持了极限学习机随机隐节点的特点,由于随机隐节点与数据相关,算法可以在只有很少随机隐节点的条件下提供理想的分类精度,这从侧面达到了快速简化极限学习机网络结构的目的。本论文选择了一个人工数据集和六个UCI数据集对该算法加以测试,实验结果充分验证了该算法具有提高算法精度、提升算法测试效率并保持极限学习机学习速度快的优点。3)提出了一种基于极限学习机的局部标签近似聚类算法(Clustering by Local Label Approximation with Extreme Learning Machine,LLAELM),该算法利用极限学习机替代了局部学习聚类算法中的核岭回归分类器,由于极限学习机具有参数少、判决函数简单、高准确度等特点,使该算法可以在更少参数条件下,获得与基于核岭回归的局部学习聚类算法相当甚至更好的聚类效果。我们使用了大量的数据集测试该算法,数值实验结果表明,利用该算法进行降维后的大部分数据都可以获得更优的聚类效果。4)本文将极限学习机用于高光谱图像分类,并提出了一种基于空间近邻的半监督极限学习机算法(Spatial-Neighborhood based Semi-supervised Extreme Learning Machine,SNS-ELM),该算法针对高光谱图像空间相邻的像素通常属于相同的类别这一属性,采用图拉普拉斯正则的方式开发空间邻域信息,并提出了相应的数学模型,为了能够求解这一模型,我们给出了一个基于交替方向迭代的算法,并推导了两个方向的迭代公式,该算法可以非常直观地将有标签数据的信息向无标签数据传播,从而获得更好的分类效果。数值实验结果表明,该方法能够有效地改善高光谱图像的分类效果,分类精度有了很大提高。