在无线通信系统中,无线信道的衰落是影响系统性能的重要因素。分集技术是对抗衰落的有效手段,而其中采用多天线的空间分集技术由于不占用额外的频率和时间资源,且分集的阶数不受限制,因而是最常用和有效的分集技术。但在无线网络的终端设备上,由于受到体积、重量、功耗、成本等因素的限制,实现多天线较为困难。协作分集技术是在单天线的无线终端间进行协作,相互共享天线,从而实现虚拟的多天线的分集技术。而协作中继技术则是无中心节点的无线网络中实现节点间相互通信的关键技术。正是通过节点间的相互协作,互相作为中继节点,采用中继传输的方式才实现了网络中任意两节点间的通信。协作分集和中继技术是下一代无线通信网络中的关键技术,本文对该技术进行研究,重点研究了利用编码技术和调制技术的协作分集和协作中继的机制和协议。主要工作有:1.对基于信道编码的协作分集技术进行了研究,对编码协作分集机制进行了一般性总结;提出了基于LDPC编码的协作分集机制,以及LDPC编码结合空时编码的协作分集机制,并进行了误码性能的分析和仿真。2.研究了基于旋转星座分集的协作分集技术,将信号空间分集的思想应用到协作通信中,提出了通过两用户间的协作和二维旋转星座来实现二阶信号空间分集的机制,并对分集系统的误码性能进行了理论分析和仿真。3.研究了数字喷泉码在协作中继系统中的应用技术,在中继节点状态固定和动态变化两种情况下给出了应用数字喷泉码的协作中继机制,并从传输效率和传输时间两个方面对中继机制的性能进行了理论分析和性能仿真。4.提出了一种结合数字喷泉码和旋转星座的协作中继机制,对其进行了理论分析和性能仿真。