近年来,各种高清,超高清视频业务的迅速发展使得用户对带宽的需求迅速增加。光纤凭借其良好的抗干扰能力、频带宽、损耗低、重量轻及低成本等优点被逐步应用到骨干网络中,“光进铜退”已经是大势所趋。另外,相干光通信的采用使得接收端数字信号处理简单,色散以及偏振模色散等线性损伤不再是制约速率的关键,而是损耗和非线性效应。可以采用开发大有效面积的低损光纤来解决损耗问题,但是非线性效应作为世界性的难题,一直是研究中的重点及难点,目前还没有一种准确的理论来估计或者补偿它。所以对非线性的理论模型分析是值得深入研究的问题,只有研究清楚各项系统参数对非线性的作用效果,才能进一步做出假设,提出非线性的补偿算法。正交频分复用(OFDM)是一类特殊的多载波调制技术,由于正交子载波的频谱可以重叠,具有较高频谱利用率,是无线通信中对抗多径的关键技术。自从被引入相干光纤通信中,便以较高的接收机灵敏度,方便的数字信号处理技术,成为下一代超高速长距离光纤传输的首选技术。本文针对多载波相干光OFDM (CO-OFDM)通信系统中的非线性效应的机理进行了深入的研究,从系统平台的搭建到线性损伤的信道估计,再到链路中非线性作用机理的分析等,取得了以下创新性的研究成果：1.针对多载波CO-OFDM系统中定时同步敏感的问题,提出一种改进的的定时同步算法。该算法能够有效消除由于循环前缀产生的定时测度曲线峰顶的平波现象,造成估计同步时刻不准的问题,仿真结果表明该算法能够准确估计符号定时时刻,性能优于经典的Schimdl&Cox方法,更适用于光纤信道。2.针对112Gbit/s偏分复用CO-OFDM系统,提出一种改进的信道估计算法。这种方法将频域平均与时域平均的优势结合,可以得到更准确的信道传输矩阵参数,实现更精确的信道估计。仿真结果表明,即使在相对快速时变的环境中系统性能依然平稳。当群时延(DGD)等于1000ps时,系统性能相对符号内频域平均(ISFA)算法提高了2.2dB,当考虑线宽与频偏的时候有超过0.5dB的优势。3.针对112Gbit/s偏分复用CO-OFDM系统中的非线性问题,提出将贝尔实验室空分编码(BLAST)算法用来提高系统的非线性容忍性。本文在不同的色散补偿率下进行了系统性能的仿真,结果表明,在无色散补偿,800km传输的情况下,系统性能相比ISFA算法至少提高了5dB。4.针对波分复用的CO-OFDM系统中的XPM影响,提出采用自相关特性分析方法分离出交叉相位调制(XPM)引起的相位噪声以及偏振串扰噪声来分析系统中XPM的特性。通过这种分析方法可以清晰的看到系统参数是如何影响XPM。在OFDM系统中,无相位恢复算法情况下验证得出相位噪声相比串扰噪声占主导地位。5.针对密集的波分复用CO-OFDM系统中将链路中所有的非线性噪声看做是四波混频(FWM)的问题,提出由于文献中过多的假设使得该估计方法不够精确,从而对应用到其他的调制格式具有一定的局限性。研究结果表明,调整估计公式中的参数会对理论估计值产生较大的影响,而在不同的链路条件或者系统参数条件下,使得理论与仿真Q值曲线吻合的最好的的值存在较大的差异,表明这种频域非线性效应估计方法不够精确以及不够完备。总之,本文从单信道的CO-OFDM系统平台出发,从系统的搭建校正,到信道估计,同步估计,相位噪声估计再到分析波分复用CO-OFDM系统中的非线性作用机理进行了比较全面的研究。