近年来,日益增长的高带宽开销服务和市场需求驱动着高速光接入网的发展。因成本需求,受限于低成本的光器件性能,传输信道的带宽限制无法避免,导致了严重的符号间干扰。此外,信道噪声混合着来自光电器件线性和非线性的失真更进一步影响着信号质量。因此,需要有先进的数字信号处理技术来有效补偿信号损伤。面对严重的符号间干扰和非线性效应,经典的算法一定程度上不足以满足均衡需求。如今,机器学习,尤其是神经网络已经被认为是一种补偿信号失真的有力工具,已有不少工作使用神经网络均衡器来实现高速传输系统。本论文主要针对基于神经网络的均衡器展开相关研究。在神经网络均衡器的相关研究中,伪随机二进制序列（PseudoRandom Bit Sequence,PRBS）被广泛用于生成传输信号,然而最新的研究发现神经网络能够学习PRBS的生成规则,进而导致对均衡性能的评估异常。针对神经网络的训练问题,本论文首先从理论和仿真角度探究了神经网络识别PRBS的底层原理和量化的性能影响。此外,本文提出了一种交叉测试的办法以验证神经网络训练的有效性。基于该验证方案,本论文设计了一个简单的方法组合随机序列来构造更强的随机序列以掩盖序列生成规则,从而保证神经网络均衡器训练的有效性。基于上述结论,本论文以正确的方式探索了神经网络均衡器应用于光接入网中的性能。结果表明了基于神经网络的均衡器在应对只有简单线性失真的信号时,性能与经典算法如前馈均衡器和Volterra非线性均衡器并无明显差距。但当信号存在严重的非线性失真时,神经网络就能表现出明显更好的性能。本论文通过提高入纤功率,采用神经网络均衡器补偿非线性失真,实现了100G高速强度调制直接检测（Intensity Modulation and Direct Detection,IMDD）光接入系统,达到了30d B的功率预算。此外,本论文从算法结构优化和数据特征处理两个角度出发,探索了提升神经网络均衡器性能的方法。基于实验结果,本论文认为数据特征挖掘理应是更为行之有效的方案,并提出了基于反馈的神经网络均衡器,通过简单的反馈,引入了更丰富的数据特征同时,并没有增加模型的计算复杂度。实验表明,该方法有效提升同等全连接网络均衡器1d B的灵敏度。立足于神经网络均衡器实际应用的问题,本论文提出了基于非监督学习的训练框架。通过该训练框架,神经网络均衡器能够实现盲均衡以及应对变化的系统状态维持自身的均衡性能。该框架由一系列标注和训练的过程组成,整个框架无需接收信号的原始序列就能有效训练神经网络均衡器。同时,对于一个已经训练完备的神经网络均衡器,在应对系统状态变化,如波长漂移或偏置抖动等,能够通过自我调整保持最佳性能。本论文对神经网络均衡器展开的研究,对于神经网络均衡器在高速光接入网中的应用有重要意义,也为后续研究改进和产业应用提供重要参考。