随着第五代移动通信（The Fifth Generation Networks,简称5G）和物联网（Internet of Things,简称Io T）技术的普及,越来越多的Io T设备给人们的生产、生活带来了便捷。而由于无线通信信号的开放性,使电磁波直接暴露在空间介质中,对通信系统造成了安全威胁。隐蔽通信是防护无线通信系统中信息安全的重要方法,传统上,对隐蔽通信的研究大量集中在网络层、链路层与应用层上,而对于基于物理层相关协议的隐蔽通信没有研究者足够的重视。然而,物理层也容易受到各种攻击,如信息篡改,窃听和恶意转发,这可能会造成无线通信系统的信息泄露。为了防止信息泄露,本文围绕无线网络中的隐蔽通信进行研究,并取得如下研究成果:（1）针对带中继的无线通信网络中,安全传输容量不足的问题,提出一种基于双中继分离的联合波束成形和人工干扰机制。设计了基于中继发射功率、波束成型矩阵与人工干扰的联合优化算法。仿真结果表明,该算法可有效提高基于中继的无线通信网络的安全容量。（2）针对无线通信网络中传输信息容易泄露的问题,提出一种基于天线阵编码和星座偏移的隐蔽通信方法。推导了提出的隐蔽通信系统互信息量的闭合解与星座偏移的最佳距离。通过仿真验证了所提系统的隐蔽性。仿真结果表明所提隐蔽通信系统具有低误码率和高安全容量的特点。（3）针对MIMO下星座调制结合时隙特性进行隐蔽信息传输的特点,设计了一种基于对抗神经网络（Generative Adversarial Networks,简称GAN）的全连接分类网络框架。提出一种在样本不均衡的通信数据环境下,检测隐蔽通信的方法。提出的检测算法具有较好的扩展性,可通过预设多组控制参数来动态调节检测模型从而可检测不同分布隐蔽通信的样本集。最后,通过仿真验证了系统的检测准确率和ROC指标。最后对本文主体工作进行了总结,同时也对未来工作也进行了展望。