论文部分内容阅读
在现实世界中,由于数据大爆炸以及最优化理论算法突飞猛进的发展,大规模优化越来越多的引起大家的兴趣和关注。在计算机科学、统计学、工业工程以及电子工程等领域中的许多实际问题都可以转化为大规模结构型最优化问题,具体的应用包括机器学习、统计学习、运筹学、图像处理以及智能电网等。因为数据集的庞大,问题的高维度以及问题模型的复杂性,高效地求解算法理应得到充分地发展从而能够更好地处理相关的应用问题。 在本篇论文中,我们考虑两类一般大规模凸优化问题,即大规模可分的带线性约束凸优化问题以及大规模带可分约束凸优化问题。通过结合两类问题的特殊结构,分别基于两类热门算法提出两类一阶算法框架,即交替方向法和块坐标下降法。并行技巧、随机化技巧都可以被引入算法框架从而进一步修改算法。与此同时,我们会证明算法收敛性、迭代复杂度以及收敛速率等全方面的理论结果。 针对交替方向类算法,在算法设计与修改方面,我们会引入两个关键思想,即问题的等价转换思想与校正步思想。基于模型等价转换的原始分裂交替方向法和对偶分裂交替方向法会被详细地陈述说明。同时我们还结合并行技巧充分掌控大规模实际应用问题。进一步,我们会提出各种各样的校正步构造方法,并且与此同时全方位地证明了各种必要的理论结果,从而可以得到一系列完整的算法框架。 至于块坐标下降类算法,我们会针对经典块坐标下降法引入多种块坐标选择方法以及计算技巧,例如循环技巧、随机化技巧、块连续上界等等技巧。这一部分的关键理论贡献是块坐标下降算法系列的完整迭代复杂度的证明,我们给出了一个全局收敛速度的证明框架,无论使用上面介绍的何种技巧。 为了进一步验证所设计算法框架的高效性和实用性,同时验证理论结果,我们测试了多个有趣的实际应用问题。与此同时,机器生成大规模数据集和实际大规模数据集都会被同时考虑。尤其是针对两类最近热门应用问题的研究探索,即统计领域中的Dantzig Selector问题和智能电网领域中的不确定能源供给平衡问题。这些有意义的数值计算结果可以进一步加深证明我们算法框架的突出和前景。