随着信息技术的飞速发展与广泛应用，下一代无线通信网络对系统效率性、可靠性和安全性等均提出了更高的要求。协同通信技术通过通信中各个节点的协作处理，以及资源共享，可获得协同分集增益，有效提高了无线通信网络的这些性能，成为目前无线通信领域的研究热点。其中资源分配技术是协同通信系统获得性能提升的重要技术，它能合理分配系统中的时间、频率、功率、中继站等各种资源；物理层安全技术，充分利用无线通信其固有的广播性、衰落性等特点，能够从信息论的角度，带来额外的安全保障，是现有安全机制的重要补充。本文围绕协同通信中的资源分配技术和物理层安全技术进行了深入研究，主要研究内容和成果如下：正交频分复用多址（OFDMA）技术具有较高的频谱利用效率、能够有效对抗多径衰落，是当前和未来移动通信网的重要的多址技术。本文针对协同OFDMA系统资源优化问题展开研究。引入了智能优化算法，采用了跨层设计思想，增加了对多业务的支持，以所有用户的总效用最大化为目标，在基站和中继节点功率独立受限约束条件下进行资源优化。提出了一种改进的粒子群优化算法，将资源分配问题所需优化的参数编码为多维离散空间上的粒子位置，并构建了新的基于概率特性的粒子运算法则，由此建立了粒子速度和位置的更新策略。所提算法运用于协同OFDMA资源分配问题中，相比已有算法在公平性和吞吐量两方面都取得了更好的性能。资源分配往往需要结合自适应调制编码实现。本文研究了与自适应调制技术相结合的协同系统资源分配算法。提出一种混合离散连续变量的粒子群优化算法，用于协同OFDMA系统的联合资源分配与调制方式选择。该算法将资源分配方式和调制编码方式映射为离散与连续混合空间中的粒子位置，通过粒子更新来寻求最优解。仿真验证了所提算法性能较传统算法有明显提升，适用于实际场景。实际协同通信网络网络中的用户需求，信道状况，以及中继数目均有可能随时间变化，具有动态特性。现有的算法均未考虑通信网络环境的动态因素。本文构建了协同通信系统中跨层资源分配的动态优化模型，考虑了信道时变，用户状态的变化以及中继数目的变化，因此优化目标为时变函数。提出了基于粒子群算法的动态资源分配算法，通过粒子的扩散运动来反映网络的动态特性，充分利用了相邻帧之间的相关性来提高优化算法效率。仿真结果表明所提动态优化算法相比传统静态算法复杂度明显降低，且具有更优的性能。研究了多小区协同OFDMA系统的鲁棒性资源分配问题。对多小区OFDMA系统的信道模型进行了鲁棒性分析，建立了不确定性信道模型。考虑了信道估计误差、信道量化误差和信道反馈时延三种不确定因素。给出了反映不确定性信道分布特性的表达式。提出了一种适用于多小区协同OFDMA通信系统的鲁棒性分布式资源分配算法。所提算法通过干扰测量获取临近小区的干扰强度，不需要小区之间的信息交互，极大地减少了系统开销。与传统算法相比，所提算法以系统总容量的数学期望最大化为优化目标，通过蒙特卡罗方法来求取数学期望，具有更好的鲁棒性。仿真显示，在信道具有不确定性的情况下，所提算法相比其他算法性能最优。在物理层安全性能分析方面，现有的保密容量分析在未知窃听者信道信息的情况下无法进行，且不能够反映不同地理位置的安全性能。本文在平衰落场景下提出了保密区域和中断保密区域的概念，结合通信节点地理位置信息，分析通信系统的物理层安全性能，定量描述了窃听者处于不同地理位置时的窃听性能。我们将保密区域定义为窃听者无法正确解调加密信息的区域，中断保密区域定义为窃听者无法正确解调加密信息的概率大于某给定概率的区域。运用保密区域和中断保密区域的概念，能够更好地评估系统的物理层安全性能，同时能指导物理层安全策略的设计。传统的人工噪声物理层安全技术由发射端产生，需要发射端具有额外的功率和天线，应用在发射端为手持设备的上行链路等场景下具有局限性。为了克服此缺点，本文提出了一种接收端发射人工噪声的物理层安全策略。通过合法接收者发送人工噪声来干扰窃听者信道，同时通过全双工抵消技术使得合法接收者自身不受人工噪声的影响。此方法无需合法接收者向发送端反馈信道信息，能够对抗多天线的窃听者，具有很强的鲁棒性。进一步提出一种新的收发两端联合发射人工噪声的物理层安全策略，在发射端采用波束成形和人工噪声相结合，合法接收端采用全双工技术，在接收有用信号的同时发射干扰噪声。人工噪声能够有效干扰窃听者，且对合法接收者无影响。论文以最小化非保密区域为目标，推导了人工噪声和有用信号之间最优功率分配策略的闭合表达式。推导了达到完全保密（非保密区域为零）的条件，在此条件下无论窃听者处于何位置，它都无法正确解译加密信息。理论分析和仿真结果显示此方法在所设定的实际场景中能够提供高的安全性能。研究了被动窃听场景下基于多天线中继协同通信系统的物理层安全策略，即窃听者信道信息未知。提出了多天线中继节点在通信的两个阶段均发射人工噪声，在第二阶段分配一部分功率转发有用信号的策略，这样在保证合法用户通信效果的同时也可以最大程度的干扰窃听者。分别针对功率约束系统和非功率约束系统提出了两种最优功率分配策略。针对功率约束系统，优化目标是最小化保密中断概率。针对非功率约束系统，在服务质量和保密性能约束下，使得消耗的总功率最小。仿真结果显示所提策略通过引入多天线协同节点，能够显著增加系统的保密传输速率。