随着宽带业务的持续高速增长,无源光网络(PON)技术近年来获得了广泛的应用。波分复用无源光网络(WDM PON)因具有高带宽、广覆盖、可分波长承载业务、支持平滑过渡等优点成为下一代PON的主要演进方案之一。本论文对大容量长距离WDM PON中的波分复用层实验系统方案、无色ONU及后向瑞利散射噪声抑制等关键技术进行了研究与设计实现,主要研究工作如下。1.设计并实现了N×10Gbps WDM PON波分复用层实验系统方案,系统具有通道重用、50GHz通道间隔、单波长10Gbps速率、传输距离超过40km等特点,且具有支持双向320Gbps的能力。实验测试结果表明,所设计系统达到了设计目标要求。2.设计并实现了一种基于光功率探测设置可调谐激光器波长的无色ONU方案。该方案针对WDM PON波分复用层系统结构,设计了基于光功率探测与控制的可调谐激光器波长管理机制以实现ONU无色性。测试结果表明,该方案可以有效实现ONU波长设置。3.设计了一种基于调制与滤波相结合的WDM PON系统中后向瑞利散射噪声抑制方案。在对后向瑞利散射噪声的功率与频谱分布特征进行理论及仿真分析的基础上,设计了基于光RZ-AMI调制及FBG光域带阻滤波的后向瑞利散射噪声抑制方案,以及基于3PAM RZ-AMI调制并配合电域高通滤波的后向瑞利散射噪声抑制方案。仿真结果表明,所设计方案可实现5dB以上的接收机灵敏度改善。