偏振复用正交相移键控(PM-QPSK)相干光通信系统不仅具有相干光接收技术的高灵敏度、长距离传输等特点,而且结合了偏振复用技术和多进制调制格式(正交相移键控),进一步提升了通信系统容量,因此,PM-QPSK相干光通信系统受到越来越多的关注。除此之外,在长距离传输中信道的非理想特性(色度色散,偏振模色散)可以在接收端由信号处理技术进行补偿。本文研究了PM-QPSK相干光通信系统中用于信道均衡的恒模算法。主要研究内容包括:(1)提出了一种时域变步长恒模算法,该算法具有迭代步长自适应变化的特点。已有的恒模均衡算法中通常采用固定步长,对步长的选择通常需要在均衡速度和均衡误差之间寻找平衡。而在本文提出的均衡方案中,均衡的步长会随着算法的运行自适应的更新。本文对影响步长自适应更新的算法关键参数进行了分析和选取,仿真结果表明,在稳态误差相近的条件下,本文算法收敛所需的迭代次数相比于传统恒模算法约减少600次,占总迭代次数的18%。在误码率为10-3时,与传统的恒模算法相比光信噪比(OSNR)代价下降了约1.7d B。(2)提出了一种低复杂度高精度恒模均衡算法,该算法结合了时域均衡高精度和频域均衡低复杂度的特点。本文算法首先利用频域恒模算法对输入信号进行粗均衡。随后以误差函数为基准,对每个信号点频域粗均衡的效果进行判断,并对其中性能较差的信号点进行重新均衡。为了尽可能地减小计算复杂度,重新均衡采用了固定系数时域恒模均衡方案。仿真结果表明,所提算法相对于时域恒模算法,其计算复杂度减小了6%;在误码率为10-3时,与时域和频域的恒模算法相比OSNR代价分别下降了约2d B和2.2d B。