大规模结构型优化问题的一阶算法及其应用

来源 :南京大学 | 被引量 : 0次 | 上传用户:liongliong486
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在现实世界中,由于数据大爆炸以及最优化理论算法突飞猛进的发展,大规模优化越来越多的引起大家的兴趣和关注。在计算机科学、统计学、工业工程以及电子工程等领域中的许多实际问题都可以转化为大规模结构型最优化问题,具体的应用包括机器学习、统计学习、运筹学、图像处理以及智能电网等。因为数据集的庞大,问题的高维度以及问题模型的复杂性,高效地求解算法理应得到充分地发展从而能够更好地处理相关的应用问题。  在本篇论文中,我们考虑两类一般大规模凸优化问题,即大规模可分的带线性约束凸优化问题以及大规模带可分约束凸优化问题。通过结合两类问题的特殊结构,分别基于两类热门算法提出两类一阶算法框架,即交替方向法和块坐标下降法。并行技巧、随机化技巧都可以被引入算法框架从而进一步修改算法。与此同时,我们会证明算法收敛性、迭代复杂度以及收敛速率等全方面的理论结果。  针对交替方向类算法,在算法设计与修改方面,我们会引入两个关键思想,即问题的等价转换思想与校正步思想。基于模型等价转换的原始分裂交替方向法和对偶分裂交替方向法会被详细地陈述说明。同时我们还结合并行技巧充分掌控大规模实际应用问题。进一步,我们会提出各种各样的校正步构造方法,并且与此同时全方位地证明了各种必要的理论结果,从而可以得到一系列完整的算法框架。  至于块坐标下降类算法,我们会针对经典块坐标下降法引入多种块坐标选择方法以及计算技巧,例如循环技巧、随机化技巧、块连续上界等等技巧。这一部分的关键理论贡献是块坐标下降算法系列的完整迭代复杂度的证明,我们给出了一个全局收敛速度的证明框架,无论使用上面介绍的何种技巧。  为了进一步验证所设计算法框架的高效性和实用性,同时验证理论结果,我们测试了多个有趣的实际应用问题。与此同时,机器生成大规模数据集和实际大规模数据集都会被同时考虑。尤其是针对两类最近热门应用问题的研究探索,即统计领域中的Dantzig Selector问题和智能电网领域中的不确定能源供给平衡问题。这些有意义的数值计算结果可以进一步加深证明我们算法框架的突出和前景。
其他文献
学位
学位
学位
学位
请下载后查看,本文暂不支持在线获取查看简介。 Please download to view, this article does not support online access to view profile.
学位
学位
近些年,互联网、计算机技术高速发展,越来越多的数字产品出现在我们面前,数码相机就是科技快速发展的产物之一。由于数码相机以及其他各种图像捕捉工具的快速普及,图像在百姓
学位
主办:中国造纸协会中国造纸学会中国制浆造纸研究院承办:中国制浆造纸研究院中国造纸杂志社展览时间:2013年9月23~25日展览地点:北京全国农业展览馆新馆展览规模:13000m2(548