随着机器学习近年来的迅速发展,除了在计算机视觉、自然语言处理、机器人等领域获得广泛研究外,其在通信领域也逐渐受到重视且表现出了巨大的潜力。随着5G技术的商业部署,关于6G技术的构思与讨论已经形成,然而其庞大、复杂的通信场景使得信道分析和建模变得异常困难、系统设计复杂度变得难以控制,这些挑战驱使研究人员转向机器学习领域寻求解决方案。从机器学习的角度分析,很多通信问题可以概括为回归、分类或集群等问题,因此,研究人员已将机器学习作为辅助工具或优化技术来提高物理层通信的有效性和可靠性,比如信道估计、信道编码、信源编解码、调制和信号检测等方面。这些研究可根据机器学习的应用角度分为两类:块结构（Block-structured）的方法和端到端（End-to-end,E2E）的方法。块结构方法用神经网络辅助或替代通信链路的某一个或几个信号处理模块,结合现有的传输理论,获得性能的增益。E2E方法用一个神经网络替代整个通信链路,旨在实现通信系统的全局最优工作状态。E2E方法和部分块结构方法属于数据驱动（data-driven）的方案,即将神经网络视为“黑盒”,但E2E方案需要较准确的信道状态信息,而部分块结构的方法忽略信道状态信息,二者都通过大量的标注数据实现线下训练。但是数据标注工程有时在通信链路中难以实现,因此模型驱动（model-driven）方案同样是研究和应用的热点。模型驱动方法一般将神经网络与现有通信算法结合,并充分利用信道状态信息等相关知识,以极短的时间和极少的数据规模实现训练。本文在这样的背景下关注机器学习在物理层通信的应用,以块结构和数据驱动方案为主要方向,研究了以下四个部分内容:（1）正交幅度调制系统的信号波形设计问题;（2）码间干扰影响下的发送符号序列建模问题;（3）恒参信道下通信系统的符号检测问题;（4）无线信道下通信系统的符号检测问题。第一部分研究能够预补偿信道失真的发送信号波形的设计问题,旨在利用强化学习在没有标注数据的条件下优化发送星座映射。基于信号空间的特征,本文采用Actor-Critic的结构并用神经网络对其拟合,并在收发两端设计反馈信道实现强化学习的闭环模型。通过强化学习的训练,实现对发送信号的优化,然后更新发送星座映射关系。仿真结果表明,本文所提的算法能够根据信道特征生成预补偿信道失真的星座映射关系,不需要提前进行数据标注工程,实现了一定的智能化。第二部分关注受码间干扰影响的接收信号序列到发送符号序列的映射建模问题。并以光纤信道中色度色散引起的非因果性码间干扰为研究背景进行研究,提出采用非因果时间卷积网络实现对接收信号中的原始符号信息的提取,建立从接收信号序列到发送符号序列的映射关系。本方案属于数据驱动方案,不需要获得信道状态信息,仅通过标注数据实现训练。仿真结果表明,本文提出的方案能够在码间干扰的影响下,实现对原始发送符号的建模。第三部分关注恒参信道,探讨群时延畸变引起的码间干扰,并以单极化传输的标准单模光纤系统为研究背景,提出非因果时间卷积网络结合池化层结构的接收端设计,实现接收信号波形序列到接收符号序列的映射。在单极化传输中,光信号只存在一个偏振方向,不存在偏振态色散,因此色度色散和光噪声是导致信号失真的主要原因。针对多信噪比的场景,本文提出相应的高效训练方法。仿真结果表明,在单极化传输的标准单模光纤系统中,本方案与传统的均衡器相比能获一定的性能增益。最后一部分关注无线信道,探讨频率选择性引起的码间干扰,并以多径瑞利慢衰落信道为研究背景。在分析了该通信场景下引起的码间干扰的因果性后,本文采用（因果）时间卷积实现对接收信号的原始符号信息的提取,实现发送符号序列的建模。针对瑞利慢衰落信道的时变性,本文提出基于元学习的训练算法实现时变信道下的自适应学习。仿真结果表明,本文提出的方法能够实现多径效应下的符号检测,且在慢衰落信道中表现得十分稳定。总结以上工作,本文首先从正交幅度调制信号的波形设计出发探索机器学习对信道预均衡的研究。其次考虑码间干扰现象,提出基于时间卷积网络的序列到序列的解决方案,实现对发送符号序列的建模。随后将这个基于神经网络的序列模型应用到恒参信道和无线信道中,并设计了适合信道特性的训练方法。