随着无线通信技术的发展与移动端的普及,爆炸式增长的数据需求以及日益增多用户接入数目对无线通信系统的要求越来越高。非正交多址接入技术(NOMA)由于其更高的频谱效率以及高吞吐量等特点,使得海量连接以及超高通信容量成为可能,是移动通信中的关键性技术之一。无线中继技术可以大幅提高无线通信业务的覆盖范围和可靠性,使得受到距离限制的信息传播成为可能。然而无线通信网络的高度开放性给信息安全带来了巨大隐患,物理层安全(Physical Layer Security,PLS)利用信道本身的物理特性来实现信息的保密,被广泛的应用在传统无线传输场景中。本文研究了基于直传与中继协同传输(Coordinated Direct and Relay Transmission,CDRT)的NOMA系统的物理层安全。本文首先研究了CDRT-NOMA场景中的物理层安全问题,在不能确定窃听用户即时信道状态信息(Channel State Information,CSI)的情况下,引入了人工噪声(Artificial Noise,AN)并进行中继选择,在基站、用户以及中继节点都是半双工工作模式的情况下,提出了最大化系统安全中断概率(Secrecy Outage Probability,SOP)的中继选择标准,根据NOMA用户不同的安全传输速率需求,得到了高信噪比下系统安全中断速率的闭式解。其次,结合用户分组设计出合理的场景减小了人工噪声对近用户的影响,通过计算发现,当人工噪声对近用户的影响可以忽略时,系统的安全中断概率在高信噪比下只与远用户有关。随后,本文研究了人工噪声功率以及基站发射信号功率对近用户的影响,推导了近用户第一时隙的中断概率,并得到了高信噪比下中断概率的极限值以及两用户距离较远时的中断概率。进一步的,对CDRT-NOMA系统下的安全传输方案进行了仿真,并与传统CDRT-NOMA模型做了性能对比,结果验证了中继选择方案以及噪声的引入对系统安全性能的提升,得到中继数目越多达到系统安全中断概率最小值所需要的人工噪声功率越低的结论。此外,在两用户距离逐渐增加的情况下中,仿真结果验证了系统的安全中断概率的高信噪比极限等于远用户的安全中断概率。最后,近用户的中断概率仿真结果表明,人工噪声会在很大程度上影响近用户的解码,可以通过用户分组以及增加中继数目的方式来减小人工噪声的影响。