随着数据采集以及网络技术发展,各个领域获取数据较以往更加方便快捷,现在社会进入了大数据时代。数据呈现出了维度高、形式多样变化、结构复杂以及标注信息缺失等特点,为后续数据处理带来许多挑战。然而,数据本身在特征空间和维度空间上具有稀疏性,基于稀疏优化的学习方法是一种有效挖掘有价值信息的解决方案。从科学研究的角度,作为机器学习最重要的研究问题之一,稀疏优化方法及应用研究也具有重大理论意义和应用价值,富有挑战性。本文以稀疏优化理论为指导,综合运用矩阵理论、统计理论及机器学习等多学科领域知识,系统地研究了基于稀疏优化理论的网络重建、特征学习和多示例学习等典型问题。论文主要研究工作及创新点如下:1.针对不同类型学习问题,提出了基于重加权优化框架,并设计了不同凸性和光滑性条件下的快速优化方法,进而加深了不同应用需求的稀疏学习问题理解。通过对稀疏学习模型中各类优化问题间的区别与联系进行全面分析和总结,并将稀疏优化问题分为四大类,统一到重加权优化框架中,有助于全面分析基于稀疏优化的学习方法研究。通过对本文的优化问题总结分析,基于重加权优化框架提出了结构凸稀疏连续快速梯度下降方法、通用稀疏低秩约束重加权交替优化方法、非凸局部线性近似梯度下降方法以及加速分块坐标梯度下降方法等四种优化方法,并成功应用于求解本文提出的稀疏优化学习问题。2.针对结构化网络数据噪声问题,采用了稀疏信号重建思想和全变分正则自适应学习邻域结构,提出了基于稀疏全变分正则的鲁棒网络结构重建方法,增强了网络重建模型的噪声鲁棒性。通过稀疏信号恢复思想对网络结构重建问题构建数学模型,提出一种具有自适应邻域结构的鲁棒网络结构重建模型。该模型通过引入稀疏结构Elastic-Net惩罚项和全变分正则来自动捕获网络结构信息,快速识别节点的近邻结构。实验结果表明新方法的噪声鲁棒性显著优于传统重建方法。3.针对阿兹海默症基因风险因子检测问题,采用分层树状结构对数据本征结构进行建模,提出了基于稀疏共享树结构的多任务特征学习模型,并针对其模型结构设计了层次特征筛选规则,加速了学习模型训练效率,提高了复杂疾病因果变体的识别能力。针对传统学习方法对数据本征结构刻画不足,采用分层树状结构对数据本征结构进行建模,并由此提出一种基于稀疏共享树结构的多任务稀疏特征学习模型。该模型能够深入探索特征间的层次结构和多个相关任务的共性结构信息,进一步提升模型的学习泛化性能。另外,由于分层树状结构导致模型对于高维数据训练复杂度急剧增加问题,设计了一种有效的层次结构筛选规则。在模型训练开始之前对训练数据中不相关特征进行快速检测,同时剔除数据中的不相关特征,极大提升模型训练效率。实验结果和医学评估表明,本文的方法能够快速检测出阿兹海默症基因风险因子,发现复杂疾病相关的基因因果变体。4.针对数据噪声、标记信息不足以及标签错误等问题,提出了基于稀疏低秩模型的鲁棒判别特征学习方法以及基于非敏感稀疏回归模型的半监督特征选择方法,提升了算法在数据含噪与标签错误等开放环境下的适用性。首先,针对传统监督方法损失函数对噪声数据比较敏感,且不能很好重建复杂结构数据等问题,提出了一种基于标准化数据重建和稀疏低秩模型的鲁棒判别特征学习方法。通过联合最小化l2,1范数重建误差和类内距离来保留判别能力强的特征,自适应地校准每个类别和每个样本的噪声水平,提升算法噪声鲁棒性。然后,针对传统方法难以处理数据中标记样本少而大量未标记以及错误标记问题,通过标签传播方法为未标记样本学习软标签增强训练数据标签信息,随后基于capped l2-lp范数损失函数和l2,q正则项提出一种基于非敏感稀疏回归模型的半监督特征选择方法,进一步增强了噪声和错误标签的鲁棒性能。在人脸识别和视频语义识别领域的成功应用验证了算法有效性。并且在多个公开数据集上的大量实验结果表明,新方法在特征选择方面的性能优势。5.针对人类蛋白质编码异构体功能标注问题,设计了非凸多示例学习框架进行关键示例检测,并基于该框架提出了基于加权Logistic损失的多示例学习方法和基于加权Hinge损失的多示例学习方法,有效提升了人类蛋白质编码异构体功能标注水平,实际数据集验证了方法的有效性。针对传统多示例方法的最优分类面受正包携带的负示例干扰问题,通过为每个正包引入一个权重向量度量其示例对分类表现的贡献,自适应选择和识别正包中的关键示例,进一步提升分类模型的判别分析能力。随后,结合非凸稀疏约束与多示例学习构建了非凸多示例学习框架,不仅实现了对正包的关键示例检测以减小负示例的影响,而且能够同时对示例和包进行标签预测。另外,基于该框架提出了基于加权Logistic损失的多示例学习方法和基于加权Hinge损失的多示例学习方法。并基于重加权优化框架的加速分块坐标梯度下降方法对本文方法进行快速求解。最终,成功应用解决人类蛋白质编码异构体功能标注问题验证了本文方法的有效性。