协作通信技术作为下一代无线通信网络的核心技术之一,已被广泛吸收和采纳在LTE-Advanced及WiMax等通信系统当中,在提高频谱利用效率、扩大了通信覆盖范围以及降低系统能耗等方面提高了无线通信系统的性能。同时也出现了伪装攻击、恶意窃听以及非法转发等安全隐患,引起了广泛的关注。当前的无线通信网络的信息安全保障技术来源于有线网络安全,主要是通过密钥加密的方式实现信息安全保护,算法复杂度高,实现难度大,无法应对暴力破解,密钥技术并不能有效的解决协作通信过程中所面临的安全隐患。近年来,从信息论的角度考虑物理层安全通信的技术成为了研究的热点。它是利用无线信道的时变性、互易性、随机性等特点,在香农信息论的安全模型之上通过物理层编码、调制以及安全传输的方式来实现对安全通信的保障,克服安全技术对于高复杂度密钥生成算法的依赖。本论文针对协作过程中所面临的安全问题,以物理层安全理论为主要理论基础,对协作网络中的基础设施安全部署、基站安全协作以及用户安全协作等问题进行了深入的研究。论文的主要研究内容如下：针对蜂窝网络通信环境中的安全问题,提出利用物理层安全的理论对其进行分析。根据蜂窝网络环境下基站直传和中继转发模式的安全容量表达式,针对窃听节点在网络中分布的不同位置对于系统安全性能所造成的不同影响,总结分析出蜂窝网络安全模型。基于所提模型,设计了一种面向安全的网络基础设施部署方案。该方案通过迭代选择出基站和中继部署的最优位置,有效抑制了窃听节点对于网络所造成的安全影响,同时减低了系统对于传统能源的消耗。针对网络静态部署无法为小区边缘用户提供可靠通讯质量保障和安全性能保障差的问题,提出了多基站协作的安全传输方案,多基站间采用波束成形的传输方式对用户进行数据发送。所提出的方案以最大化合法接收节点所能够取得的安全传输速率为优化目标,设计多基站的波束成形加权向量。仿真结果显示本方案可以抑制多个窃听节点对于网络带来的安全影响,并提高小区边缘用户的安全传输速率。针对有窃听节点存在的网络环境中,传统基站休眠策略所面临的安全隐患扩大化的问题,本论文将不安全通信区域作为衡量网络安全性能的指标,提出了面向物理层安全的基站休眠策略。所提方案根据网络中低功率基站的分布密度,分别利用待休眠基站周边的宏基站和待休眠基站辖区内的低功率基站来辅助完成安全休眠。仿真结果表明所设计的休眠策略可以有效地保障休眠操作中的系统安全。针对蜂窝网络频谱资源紧张,用户终端空闲的特点,提出了利用多用户协作的安全中继传输策略。对于网络中同时存在有多个窃听节点的场景,提出了安全传输速率最大化策略和面向安全的零空间的波束成形传输策略。仿真结果表明,所提出的两种用户安全协作传输策略可以有效的抵抗多个窃听节点所带来的安全问题,并实现合法接收节点的安全传输速率的提升。针对用户协作节点的自利性,提出基于Stackelberg博弈的双重博弈策略,促进了用户节点参与安全协作的积极性。用户协作节点通过向合法通信用户提供有偿的人工干扰服务来破坏窃听信道的质量,进而改善合法通信节点的安全性。仿真结果表明,通过利用合法通信用户与协作用户之间的价格博弈以及多协作用户之间的报酬分配博弈的双重博弈,在实现系统安全传输速率的最大化的同时提高了网络节点间的公平性。最后,对全文进行总结,为下一步的研究提出了建议和计划。