随着移动通信业务需求的爆炸性增长,加速了学术界和工业界对下一代蜂窝网络(5G)的设计与研究。5G蜂窝网络将在频谱效率、能量效率以及数据速率等方面获得更优的性能。为了突破5G频谱效率提升的技术瓶颈,兼具高谱效与能效的时频多维超奈奎斯特技术又一次受到了广泛的关注。本学位论文旨在研究基于因子图的低复杂度超奈奎斯特信号接收机设计。首先针对超奈奎斯特信号引入的长码间串扰,分别从时域和频域的角度提出了相应的均衡算法。接下来本文重点研究在非理想同步以及时频双选信道这两种场景下,基于因子图的低复杂度高性能超奈奎斯特信号接收机设计问题。本文主要的创新与贡献如下:1.本文研究了在存在相位噪声和频率偏移情况下超奈奎斯特信号的检测问题,通过联合后验分布的有效分解,可在因子图框架下实现信号的检测和估计。通过最小化Kullback-Leibler距离的高斯近似和联合和积与变分消息传递这两种方法来实现子图之间参数化的消息传递。特别地,本论文所提出的联合和积与变分消息传递算法可以得到参数更新规则的闭式解。另外,本文采用最大后验检测的狄拉克?函数表示来自频率偏移变量节点的消息,避免了对每个量化频率偏移的并行处理,利用共轭梯度方法对问题求解并优化,使算法能更快地收敛。2.考虑到移动用户对高品质通信的需求,本文研究了双选信道下超奈奎斯特接收机的设计问题。由于相邻频域符号间干扰的存在使得信道矩阵在频域表示下不再具有循环结构,导致传统频域均衡最小均方误差算法复杂度提升而不再适用。本文针对超奈奎斯特信号提出了一种低复杂度的频域均衡算法,基于频域中匹配滤波器输出的色噪声样本具有相互独立的特点,可以将后验分布改写为势函数的乘积。进而此处采用因子图上的置信传播来实现超奈奎斯特符号的检测,通过只考虑小部分对彼此有强烈干扰的频域符号的影响,本文所提算法的复杂度随着块长度线性增加。仿真结果表明,所提出的方法可以达到与频域均衡-最小均方误差相似的性能并且显著降低复杂度。