分数阶微积分理论是整数阶微积分理论在实数域甚至复数域内的推广和扩展。分数阶控制理论是以分数阶微积分理论和分数阶微分方程为基础的一个新兴研究方向。由于分数阶算子固有的记忆效应，分数阶微分方程考虑了所有历史信息对当前状态的影响，因此，相比于整数阶微分方程，分数阶微分方程能更完整地描述系统动态。自从上世纪90年代I.Podlubny、A.Oustaloup等人将分数阶微积分理论引入到控制理论领域以来，分数阶控制系统的研究得到了极大的发展。大量的理论分析结果和工业应用结果表明，分数阶微积分理论在控制理论中能得到比整数阶微积分更好的结果，为控制理论研究方法提供了新思路和强大的数学工具支持。但是，作为新兴研究方向，分数阶控制理论在很多方面还不成熟。分数阶控制系统的稳定性，尤其是分数阶非线性控制系统的稳定性问题还是一个开放课题。由于非齐次分数阶系统控制理论处于起步阶段，分数阶控制系统的时域分析与频域综合设计方法也没有得到解决。本文针对这些问题，以分数阶微分方程描述的齐次分数阶控制系统为对象，在分数阶线性耦合系统、分数阶非线性系统和分数阶PIλ控制器的频域综合方面做了相关探索性研究。主要内容包括以下几个方面：　　（1）在现有的分数阶线性系统稳定性理论和研究基础上，针对一类阶次α在(0,1)区间内的分数阶线性耦合区间不确定系统，研究了鲁棒渐近稳定性和状态反馈镇定化问题。所提出的方法将稳定区域非凸问题转化为正定矩阵和斜对称矩阵求解问题，得到了基于线性矩阵不等式的这类分数阶线性不确定系统渐近稳定和镇定化的充分条件。　　（2）针对Mittag-Leffler稳定性理论无法作为分数阶非线性系统综合工具的问题，研究了一类阶次α在(0,2)区间内的分数阶非线性系统的全局渐近稳定性和基于观测器的状态反馈镇定问题。利用Mittag-Leffler函数的性质和Gronwall-Bellman不等式，从解的衰减速度的角度研究了分数阶非线性系统的全局渐近稳定性，扩展了分数阶非线性系统稳定性分析结果和设计手段。　　（3）针对阶次α在(0,1)区间内的分数阶非线性不确定系统，将分数阶微分方程的解与常规的整数阶微分方程的解进行数学意义上的严格等价，利用整数阶李亚普诺夫稳定性理论研究了等价整数阶微分方程零解的渐近稳定性，得到了基于线性矩阵不等式的渐近稳定充分条件。针对存在容许时变不确定性的分数阶非线性系统，研究了基于观测器状态反馈镇定问题，结合矩阵奇异值分解理论设计了镇定控制器；针对含有未知参数向量的分数阶非线性系统，设计了分数阶自适应控制律在线估计未知参数。该研究思路扩宽了分数阶非线性系统稳定性研究思路和设计手段。　　（4）目前，分数阶控制系统的时域分析与频域分析方法之间无法直接建立联系。针对分数阶PIλ控制器频域综合方法中存在的不足，在频域内研究了高阶被控对象的最优分数阶PIλ控制器整定问题。基于期望的开环系统的相位裕度，给出了未知参数空间内分数阶PIλ控制器的稳定面和最大幅值穿越频率的计算方法，避免了常见整定方法中需要试凑相角裕度和幅值穿越频率的问题。在(0,2)范围内遍历控制器阶次，得到了同时满足预设相频特性的完备控制器集合，并利用平坦相位约束条件，得到了最优分数阶PIλ控制器。将该方法应用于孤网汽轮发电机组调速系统中，通过软件仿真和半实物仿　　真实验验证了分数阶PIλ控制器的有效性和控制性能。