目前,3G无线通信系统已在世界范围内广泛商用,面向更高速率的B3G、4G无线通信系统的研究工作正在紧锣密鼓的进行中。为了满足未来通信系统的高速率要求,4G通信系统广泛使用MIMO技术作为其物理层核心技术。在传统的点对点MIMO传输技术基础上,各种面向4G的MIMO增强技术被广泛研究。其中,多用户MIMO (MU-MIMO)和协作多点(CoMP)技术是备受研究者和标准化组织关注的两项MIMO增强技术,已被3GPP提出的4G标准LTE-A作为其基本的MIMO传输技术。本文针对MU-MIMO和CoMP这两项关键的4G MIMO增强技术展开研究,涉及MU-MIMO信道反馈技术、多用户选择技术、协作资源分配技术等多方面的内容。论文的主要工作及创新性研究成果如下：1、在MU-MIMO信道信息(CSI)反馈方面,提出了码本扩展反馈技术。该技术在不改变码本结构的前提下,反馈两个码本向量实体,通过两个码本向量间的加权和操作扩展码本覆盖空间,提高CSI反馈精度。该技术具有以下2个优点：(1)提高CSI量化精度不需要设计新的码本,降低了系统升级时码本设计的复杂性度和保持良好的系统前向兼容性；(2)两个码本向量分别针对单用户MIMO (SU-MIMO)和多用户MIMO,使得基站在用户调度时能有效的实施动态SU/MU MIMO切换策略,为系统调度灵活性提供了保障。2、在MU-MIMO传输信噪比(SNR)估计方面,推导出了基于迫零(ZF)预编码方式的MU-MIMO传输的最大SNR,并根据该SNR映射到信道质量指示(CQI)反馈,提出了MU-CQI反馈方案。该方案提高了MU-MIMO传输的CQI估计准确度,从而提高了MU-MIMO传输性能。3、在单小区MU-MIMO用户配对方面,提出了一种新型的用户选择开关(USS)反馈方案和基于USS反馈的配对用户选择策略。该方案推导出了在使用固定码本量化CSI时,不同配对用户数量下,基于迫零(ZF)预编码方式的MU-MIMO传输性能,并通过反馈少量的USS信息,使得基站选择配对用户时能够避免选择到存在强用户间干扰的用户作为配对用户,解决了低速率固定码本反馈下ZFMU-MIMO传输的两个关键问题：(1)MU-MIMO性能不随反馈开销的增加而提高；(2)MU-MIMO’性能相对于SU-MIMO’性能增益随着信噪比(SNR)的提高逐步缩小。4、在CoMP场景MU-MIMO传输方面,对MU-MIMO在CoMP场景下的应用划分为4种典型配对形式,并根据CoMP传输和MU-MIMO传输时接收信号的信干噪比(SINR)特性和配对用户间的信道相关特性,针对不同的配对形式分别设计了用户配对准则。根据这些准则提出了完整的用户配对流程和算法,适用于实际CoMP MU-MIMO传输。5、在协作资源分配技术方面,推导出了频率选择性信道单天线下行相干CoMP传输子带协作功率优化分配策略。该策略以最大化传输速率为目标,通过拉格朗日乘子得到各频率选择性子带的功率大小,并证明了该算法是局部最优分配算法。另外,根据优化解的表达式特性,提出了快速搜索算法,大幅降低了搜索复杂度,把算法复杂度从二维搜索变为一维搜索。