编队卫星系统将传统单颗卫星的任务分散给协同合作的多颗小卫星,能够有效地提高天基系统的抗干扰与抗摧毁能力,缩短设计周期,降低研制成本,但同时也引入卫星间通信网络构建的难题。如何将多颗卫星互联,建立可靠的星间链路(ISLs),形成以卫星作为交换节点的空间通信网络,是一个涉及到编队队形、星间链路、通信技术、调制解调方式、多址方式以及信道编译码方式等多项技术的攻关难点。本文通过对构建编队小卫星星间通信系统中所需的各个主要环节进行深入研究,设计出一套完善的编队小卫星星间通信系统仿真平台,并提出基于该平台的系统设计方法。针对编队小卫星之间大多普勒频移和扩频码快速捕获的特殊要求,在折衷考虑算法复杂度及捕获性能的基础上,提出一种适用于低轨卫星扩频通信系统的反复累加捕获算法。该方法根据串行滑动相关法,增加延迟T来判别多普勒频移造成的码片周期偏移,采用反复循环累加原理改善捕获环路的判决量信噪比,并通过多路反复累加环路克服码元滑动,解决了在低信噪比、高动态、大多普勒频移情况下扩频码的高效捕获问题。结合编队小卫星通信的特点,针对传统BP译码算法计算量大、译码效率低下的问题,提出一种改进的BP译码算法。该译码算法在迭代译码过程中只需要更新有可能发生错误的比特信息,而不更新可靠性非常高的比特信息,进而提高译码效率、减少译码延时。根据改进的BP译码算法设计了一种并行高速译码器,并在高斯信道对不同码长和不同迭代次数的LDPC码的纠错性能进行仿真比较。仿真结果表明:改进的BP译码算法相对传统的BP译码算法,在译码性能损失极小的前提下,显著地减少了迭代过程中的运算量,提高了译码效率;根据改进BP译码算法设计的并行译码器可达到较高的译码速度。为了解决编队卫星星间通信的功率与数据传输速率之间的矛盾,提出了变码速率星间通信方案,并通过数学仿真验证方案的有效性。该方案在交互数据量较小时,星上通信系统工作在较低码速率,而当交互数据量较大时工作在较高码速率上的问题。针对编队队形长期稳定的小卫星星间通信系统,给出基于改进型遗传算法的空间圆形编队队形优化设计方法,搭建带有参考信号的直扩星间通信系统,并对其进行仿真研究,为编队飞行和星间通信演示实验提供良好的理论基础。针对编队小卫星星间通信的具体要求,提出基于Petri网的编队小卫星星间通信系统仿真平台。该平台联合空间环境、姿态和轨道等分系统,重点对星间通信系统中信道编译码模块和扩频解扩模块中的关键技术进行仿真验证;在此基础上提出了基于多学科仿真平台的星间通信系统设计方法。应用仿真结果表明:基于Petri网的编队小卫星星间通信系统仿真平台能够显著提高通信系统中模块的设计效率,缩短仿真时间,提高仿真精度和仿真结果的置信度。