随着工程技术的发展,“优化”的思想已经渗入到各行各业,很多科学和工程问题可以转化为“最优化”问题,如实际系统的数学建模、最优控制以及神经网络训练等等。梯度下降法因结构简单、稳定性好且易于实现,在求解各类优化问题中扮演着重要的角色。分数阶微积分作为整数阶微积分的自然推广,在实际工程应用中尤其在分数阶系统建模方面发挥着重要的作用。近些年,学者们把分数阶微积分引入到梯度优化算法的设计当中,发现分数阶梯度下降法有着更加优越的性能,并取得了一些成功应用。然而现有研究尚处于起步阶段,理论基础尚不完善,因此本学位论文将从分数阶梯度方向、分数阶系统理论和分数阶随机扰动三个角度出发进行分数阶梯度下降法的全面研究,初步建立起分数阶梯度下降法的理论框架,为有关应用打下坚实的基础。首先基于分数阶梯度方向,提出了迭代初始值策略,设计了可以收敛到真实极值点的分数阶梯度下降法。接着根据分数阶微分的级数表示,对其进行截断,得到了适用于一般凸函数的截断分数阶梯度下降法,分析了算法的收敛特性,并将算法推广至(0,2)阶和向量情形。进一步地,引入了分数阶利普希茨连续梯度和分数阶强凸的概念,并针对符合条件的凸函数,提出了分数幂梯度下降法并分析了其收敛特性。接着给出了一般梯度下降法的系统表示,并根据分数阶传递函数,设计了分数阶梯度下降法,给出了稳定性分析。进一步地,借鉴有限时间控制思想设计了有限时间梯度下降法,可以保证在有限时间内收敛到极小值点。在此基础上,设计了两类鲁棒有限时间梯度下降法,其收敛时间对初始条件有着极强的鲁棒性。考虑到加速梯度法在加速的同时会引起超调和振荡,借鉴重置思想,提出了重置梯度下降法,有效削弱了振荡现象并明显加快了算法的收敛速度。最后为了提高梯度下降法的全局收敛能力,提出了列维扰动梯度下降法,通过把列维扰动分解为大步长扰动和小步长扰动,证明了其在多极值点间的马尔科夫转移特性。接着提出了截断列维扰动梯度下降法,避免了小步长扰动分析的困难,并弱化了马尔科夫转移特性成立的条件。进一步地,提出了安排跳跃点扰动梯度下降法,使得大步长跳跃的频率大大增加,提高了算法的全局搜索能力。