随着移动通信设备数量的不断增长,频谱资源匮乏问题日趋明显,基站负载日益增加,邻近距离通信无时无刻不在身边出现。而设备到设备间的直接通信技术（Device-to-Device,D2D）能给邻近距离业务传输提供更好的用户体验,成为了下一代移动通信网络5G的关键技术之一。与传统的蜂窝通信相比,D2D通信能够为基站（BS）和核心网提供负载分流,具有降低设备功耗,减少传输延时,提高吞吐量等优势,因此广受关注。D2D通信使得设备间的数据传输可以避开BS而直接在设备间直接进行,并通过复用蜂窝授权频段从而提高频谱利用率,因而成为一种重要的近场通信技术。本文针对蜂窝用户（CUE）与D2D用户（DUE）组成的异构网络,从通信架构、设备发现与链路建立、模式选择与资源分配和通信容量四个方面展开研究,从而解决CUE与DUE异构网中的若干关键技术问题。本论文的主要研究内容可以概括如下:第一,本文基于ISM频段的WiFi-Direct,Bluetooth和授权频段的D2D设计出一种混合带外（Outband）和带内（Inband）的通信架构。在该通信架构中,本文提出一种基于Bluetooth的组簇算法,较已有组簇算法,所提算法在保证簇吞吐量的同时增加了簇生存时间。其次,本文提出了基于WiFi-Direct和授权频段D2D的混合数据传输机制。最后,针对簇间基于授权频段的D2D通信,本文设计出两种不同的设备发现与链路建立机制,即分别为用户设备（UEs）自发起与系统网关（S-GW）发起,并且运用二维离散马尔可夫过程对其进行数学建模和分析。仿真结果从簇生存时间、系统吞吐量和功率损耗三方面验证了所设计系统架构的可行性,并从碰撞概率和接入概率之间的关系验证所设计机制的可行性与有效性。第二,本文提出一种基于保护区域约束的联盟博弈算法解决大规模D2D网络中的联合资源分配与模式选择问题。已有工作在研究模式选择和资源分配问题时,大多只针对单一的模式选择或是资源分配进行研究,而对于有联合考虑模式选择和资源分配问题的已有研究,也只局限于少量的DUE和CUE。与已有研究工作不同的是,本文运用联盟博弈的相关理论来解决大规模D2D通信网络中的联合资源分配和模式选择问题。首先本文提出一种基于保护区域约束的联盟博弈算法,在该算法的每次迭代中,我们并行考虑两个博弈参与者,这有别于传统联盟博弈中每次迭代只考虑一个参与者的做法,从而提高算法收敛速度。其次,本文针对所提算法的稳定性、收敛速度和保护区域半径三个方面进行了理论推导和分析。最后,结合大规模D2D通信网络的统计特性,我们提出一种基于随机几何模型的个人贡献分配方法对总效益进行分配。第三,本文运用随机几何研究了 D2D通信在多种不同通信模式下的传输容量。首先,针对单对DUE复用和多对DUE复用的两种不同模式,本文分析了两种不同场景下的传输容量上下界,得出两种不同复用场景与CUE分布密度之间的关系,从而为Underlay D2D两种不同的复用模式的选择提供了理论依据。其次,本文分析了 Overlay模式下的D2D通信的传输容量。最后,本文以传输容量最大化为优化目标,推导出中继辅助的underlay D2D模式（DUMR）下的最优中继策略,基于该策略可能存在多个最优解的情况,本文最后以能量消耗最小化为目标对中继策略做进一步的优化。