近年来,高质量、大容量、高速率已成为未来无线通信技术的发展趋势。从而,如何提供高效可靠的信号传输和检测技术来实现上述优势,是未来无线通信系统的研究热点之一。迭代检测是一种基于软输入软输出（Soft-Input Soft-Output,SISO）的接收端信号处理技术,已被广泛应用于编码、均衡等诸多信号处理领域,并取得可观的性能增益。从而本文旨在研究无线通信系统中接收端迭代检测的关键技术,并基于期望传播（Expectation Propagation,EP）算法进一步提供了迭代检测中低复杂度和高性能的优势。现对全文结构概括如下:第一章着重介绍了无线通信系统中的经典传输技术,包括交织多址技术、新型空间调制（Spatial Modulation,SM）技术和迭代检测技术,并论述了相关技术的研究现状。第二章首先对单载波（Single Carrier,SC）空间调制系统中频域Turbo均衡迭代技术进行研究,详细探讨其收发机架构、技术特点和传统均衡算法。然后,基于空间调制的稀疏特性,首次将压缩感知中的期望传播算法应用到SC-SM系统中,并通过链路仿真验证,在多天线配置下,提出的基于期望传播的均衡算法与传统的均衡算法相比,在误码性能和算法复杂度之间实现了较好的平衡。第三章研究了交织多址系统中的多用户迭代检测技术。首先,评估对比了基于基本估计器和新型期望传播检测算法的误码率（Bit Error Rate,BER）性能。随后,基于载波频率偏移（Carrier Frequency Offset,CFO）的影响,提出了基于期望传播的频偏补偿算法。链路仿真揭示了该算法能够有效地弥补由于频偏带来的性能损失,显著改善系统性能。第四章研究了短波通信系统中基于单天线和多天线的迭代检测技术。首先,探讨了单天线系统下解调、解扰以及Turbo迭代检测模块之间互信息的联合处理方式;然后设计了多天线分布式下的互信息纵向联合检测方案,并提出了基于期望传播的空时均衡鲁棒接收机模型;最后,评估各种接收机方案的误码性能,仿真结果显示,提出的接收机方案相比于传统的单天线独立处理模块的接收机方案,接收信噪比改善了约4dB,而相比于传统的两路判决方案,接收信噪比改善了约2.5dB,且实现复杂度更低。第五章对全文进行概括,并进一步探讨未来的研究方向。