空分复用技术是近年发展起来的一种新型光纤通信技术,其通过复用空间信道的方式将现有光纤通信系统的容量提高了至少一个数量级。空分复用技术可以分为以少模光纤为传输介质的模分复用技术和以多芯光纤为传输介质的多芯复用技术。对于长距离模分复用系统来说,传输信道将会受到少模光纤中各种线性损伤和非线性效应的影响,数字信号处理技术是消除或者抑制上述损伤的必要手段。本文主要围绕模分复用系统中的时变信道效应以及模式相关损耗两类损伤展开数字信号处理算法方面的研究工作。一方面,本文针对少模光纤中存在的信道时变效应展开理论建模和数值仿真工作,在保证模式耦合程度不发生跳变的前提下可对任意模式数的少模光纤传输信道进行仿真。在此基础上,本文提出了两种算法来对时变信道进行有效地跟踪和均衡补偿,其中频域自动步长最小均方误差（Frequency-Domain Auto-Step Least Mean Square,FD-AS-LMS）算法通过先验误差相关的经验公式来确定算法的步长,以较低的复杂度实现了对突然时变信道的快速收敛与跟踪;而频域可变遗忘因子递归最小二乘（Frequency-Domain Variable-Forgetting-Factor Recursive Least Square,FD-VFF-RLS）算法则利用了递归算法本身的快速跟踪特性,结合后验误差与先验误差的相对关系计算来动态地确定瞬时遗忘因子大小,从而实现时变信道的快速跟踪,当信道传输矩阵的旋转角频率达到500 krad/s时,这一算法的Q~2因子相比传统LMS算法可提高4.5 d B。另一方面,本文着力于利用新型算法实现少模光纤中模式相关损耗效应的抑制与均衡。在已有工作的基础上,完善了频域形式的USIC算法,该类算法优先均衡高信噪比的信道,并将其结果应用于其他低信噪比信道的均衡中,从而进一步提高整体均衡性能。相较于传统时域形式的SIC算法,上述算法无需高复杂度的传输矩阵估计过程,且频域实现方案可进一步大幅降低计算复杂度。仿真结果表明,在与扰模器件结合后,USIC算法可以将模分复用系统低信噪比信道的Q~2值提升近3.5 d B,这对长距离模分复用系统整体传输容量的提升十分有利。