在轨服务是一项以在轨航天器维修、组件更换、燃料加注、轨道碎片清理为目的的空间技术,能够有效提高航天器的性能、延长航天器的服役周期、挽回航天器失效造成的损失,具有十分重要的实际意义与理论研究价值。目标捕获后的组合体航天器姿态控制作为在轨服务任务中的一个重要环节,是完成后续复杂操作的前提和基础。由于目标航天器会对组合体系统的参数以及结构造成影响,因此组合体航天器是一个具有参数不确定性以及动力学耦合的复杂时变非线性系统,同时由于受到自身因素的影响,组合体航天器还存在控制信号离散、执行机构饱和、角速度不可测等问题,这些因素都给组合体航天器姿态控制系统的设计带来了很大的难度。因此,本文针对在轨服务任务中目标捕获后的组合体航天器姿态控制方法展开研究,其主要内容包括:建立了目标捕获后的组合体航天器姿态模型,包含组合体航天器的运动学模型、组合体航天器确定性动力学模型以及不确定性动力学模型、目标与服务航天器之间存在相对运动的非完全约束组合体航天器动力学模型。针对参数部分未知情况下的组合体航天器的姿态控制问题,提出了自适应的有限时间控制方法。首先,对于存在外界干扰的组合体航天器系统,设计了基于积分滑模的有限时间控制器。考虑控制信号离散情况下的量化问题,设计了一类改进型的量化器,能够有效减少由于量化导致的控制抖振问题同时能够保证较低的通讯频率,并采用自适应方法对外界干扰以及量化误差进行估计补偿。然后,针对同时存在转动惯量不确定性与外界干扰的组合体航天器,设计了一类基于观测器的姿态控制器。采用改进的超螺旋观测器对组合体的不确定性进行观测,并采用反步法设计有限时间控制器并利用观测值进行补偿,所设计的控制算法能够保证整个姿态控制系统的有限时间收敛特性。针对参数完全未知情况下的组合体航天器姿态控制问题,提出了不依赖于模型参数的无模型控制方法。首先基于自适应动态规划理论,设计了一种无需模型参数的近似最优姿态控制器,利用动作-评判神经网络学习最优值函数与最优控制策略,并采用双层权值更新的神经网络以提高算法的学习效率,给出了双层神经网络迭代学习过程的收敛性分析,同时给出了有限次迭代情况下的策略迭代方法的收敛性分析,通过数值仿真的方法说明了所提算法的有效性。然后,基于预设性能方法提出一种输出反馈预设性能姿态控制器,利用跟踪微分器对角速度进行观测,再利用误差变换方法将姿态误差、角速度误差转化为新的误差系统,利用转化后的误差进行无模型控制器设计,所设计的控制器能够同时对组合体的姿态以及姿态角速度进行约束同时无需组合体航天器的参数信息。针对参数完全未知情况下的非完全约束组合体航天器姿态控制问题,提出了基于数据驱动理论的控制方法。首先,设计一种基于无模型自适应数据驱动理论的姿态控制器,考虑干扰以及不确定性对系统的影响,设计了离散扩张状态观测器对其进行观测补偿,考虑执行机构饱和的影响,设计了抗饱和补偿环节,通过仿真对比验证所提算法的有效性。进一步的为了提高控制品质,提出了一种基于参数预测的数据驱动无模型自适应滑模姿态控制器。设计了基于神经网络的预测策略,利用历史数据对未来时刻系统参数进行预测,并将预测值引入控制器设计中使得控制算法具有良好的适应性,此外引入基于离散滑模控制的补充控制器,在原控制算法的基础上进一步缩小系统控制误差加快系统收敛速度,同样采用仿真对比的方式验证了所提方法的有效性。