目前,多无人系统在众多实际领域中的应用越来越广泛,但在其系统控制上遇到的理论挑战也越来越大,所以对多智能体系统的研究一直是热点与难点。在分布式的智能体系统中,编队算法的研究一直是热门,研究目的是使得多智能体达到特定状态下完成特定任务。在多智能体分布式编队研究中,主要是从智能体的感知性能和相互作用的系统性结构这两方面对编队算法与结构进行研究。本文从多智能体系统的分布式编队算法开始研究,在确定的环境下,智能体间的编队队形保持一定的距离可以达到良好的编队效果。但在不确定的随机环境下,简单的队形结构无法保持编队的有效性,需要结合强化学习方法对环境的无模型学习,使得多个智能体能够保持低成本又有序高效的队形而优化编队。首先,本文研究基于Leader-Follower的拓扑结构,采用模糊Q学习实现领航者的避障。为了解决维数急剧增加的问题,采用概率模糊的方法将环境状态离散化,再利用Soft-max策略选择动作,从而加快学习与收敛的速度。通过数值仿真,充分验证了模糊Q学习的三维避障与避碰的有效性。然后,将模糊Q学习的策略用于队形保持和队形变换中。在二维平面中,跟随者间接使用到领航者学习到的策略,在避障过程中根据子任务的不同而灵活的选择队形,并且无碰撞到达目的地。最后,在不确定环境下,加入干扰因素增加了随机性,利用Q(λ)强化学习的方法完成跟随者的集群行为。将提出的学习策略与随机最优控制策略相比较,并在仿真实验中验证了该策略的可行性,使得智能体在不确定的随机环境下完成编队控制。