无线通信中的协作技术通过单天线终端节点之间进行资源共享,从而形成虚拟天线阵列,可以有效地对抗信道多径衰落。多用户协作是指除了基站与主要用户的通信以外,还有其它空闲用户作为协作节点,共同完成一次通信传输。本文考虑非认知型和认知型的协作多用户网络,对协作多用户网络中的传输方案设计和系统优化问题做了深入研究。主要工作和贡献如下:(1)对非认知型协作多用户网络,提出了一种全新的放大转发中继联合编码方案。该方案在半双工的放大转发中继信道中,采用压缩感知技术作为编码方案。该方案的创新之处在于首次在放大转发中继信道中,引入压缩感知技术作为编码方案,弥补了现有的译码转发中继联合编码方案在某些条件下的不足。(2)对认知型协作多用户网络,提出了四种不同的传输方案设计及优化问题。具体来说,针对从用户发送端具有完备的信道信息的场景,提出了基于压缩感知的联合编码方案,该方案由于其码率的灵活性,十分适用于认知型网络,同时,又凭借压缩感知技术的特点,提高了信号在突然恶化的信道中传输的稳定性;针对主、从用户的信源为相关信源,且从用户发送端具有完备的信道信息的场景,提出了混合数字-模拟编码方案,首次将混合数字-模拟编码应用于overlay模式的认知无线网络中,并且消除了从用户对主用户的干扰,弥补了已有研究的不足;针对从用户发送端只具有部分信道信息的场景,提出 了基于 LA-GPC (Linear assignment Gel’fand-Pinsker coding)码的编码方案,解决了 DPC (Dirty paper coding)码在该场景不适用的问题,消除了从用户对主用户的干扰;针对系统中存在多个中继的场景,提出了 一种多中继传输方案,既能满足underlay模式对从用户通信的限制,又能保证在主用户通信不受影响的前提下,尽可能多地将频谱分配给从用户。本文所提出的所有传输方案均给出了相应的仿真结果,使所提出的方案设计和理论性能推导得到了验证。