近年来,随着网络化系统和智能控制理论研究的不断深入,多智能体系统协同控制方法在多机器人系统、传感器网络等领域展现出广泛的应用前景。同时,在信息技术快速发展的时代背景下,系统复杂度和需求多样性不断增加,单一个体的智能化水平日益提高,个体在采取行动时通常会考虑自身利益,其中个体利己行为通常可以用个体性能指标来刻画。本文中,我们考虑个体具有利己行为的一类多智能体系统。显然,在这类系统中,个体的利己行为并不能够总是实现协同目标。因此,如何协调个体利益与协同目标之间的关系,是多智能体系统协同控制需要解决的难点问题。除个体利己行为外,个体间通信网络结构是影响多智能体系统协同行为的另外一重要因素。在不同的网络结构下,利己个体间呈现出不同的交互关系与决策行为。博弈论被广泛用来刻画与分析多智能体系统中个体间利益冲突与均衡;然而,现有工作大多考虑简单的交互环境,基于传统的博弈理论刻画具有平等地位的少量个体之间的交互机制,缺乏对复杂交互场景的深入且系统的探究。为此,本文从不同的网络结构下的交互与决策机制入手,按照网络结构复杂性层次递进的原则,针对个体具有利己行为的一类多智能体系统,开展了几种决策机制下的协同控制问题研究。首先从同时决策机制出发,考虑所有个体处于平等的地位,在互不知晓其他个体响应的情况下同时做出决策;进一步,考虑系统中存在优先决策个体,研究顺序决策机制下具有非对称交互的多智能体系统协同控制问题;最后,考虑个体间交互关系更加复杂的大规模系统,研究大群体决策机制下的协同控制问题。具体工作与创新点如下:1)针对同时决策机制下输入饱和限制带来的非线性挑战,以及系统动力学模型未知带来的控制器设计难点问题,设计了融合协同目标与个体输入饱和限制的个体成本函数,在非合作博弈框架下建立了同步控制策略与Nash均衡策略间的关系,提出了一种无模型off-policy策略迭代算法,解决了系统动力学信息未知情况下的同步控制策略设计问题。进一步,放松了无模型控制算法对探测噪声的依赖性,从原始-对偶优化角度提出了一种不基于模型的控制算法。该算法在高维系统中具有较好的控制效果,并为经典策略迭代算法提供了一种新颖的原始-对偶优化角度的解释。2)针对顺序决策机制下个体间非对称交互关系带来的挑战,以及求解均衡策略的强化学习算法依赖于稳定的初始策略这一限制,研究了多输入动态系统的顺序决策问题及Stackelberg-Nash博弈均衡点求解问题,并将顺序决策机制引入到多智能体系统同步控制问题中,巧妙地设计了融合个体地位和协同任务的个体成本函数,建立了综合考虑同时决策与顺序决策机制的博弈模型,分析了均衡策略的唯一性和稳定性,提出了保迭代策略稳定的强化学习算法,解决了在系统模型部分已知/完全未知情况下多智能体系统分层同步控制问题。3)针对大群体决策机制下大规模系统中异质个体间的交互关系复杂且不明确带来的挑战,基于平均场博弈将个体间的复杂交互关系近似等价为个体与群体之间的交互,设计了非凸且非光滑的个体激励函数,发展了基于抽象不动点定理的分散式均衡策略分析与求解方法。该方法的复杂度不受系统规模增大的影响,所设计的控制率在个体数量趋于无穷时达到平均场博弈的Nash均衡,克服了大规模系统中异质个体利益与协同任务失衡的难题,实现了大规模系统的动态协同。