随着大数据时代的来临,海量的数据传输和日益紧张的频谱资源对通信网络提出了更高的要求。传统的奈奎斯特(Nyquist)传输理论指出了为保证无码间串扰可以达到的最大频谱效率,Mazo提出的超奈奎斯特(FTN)传输理论则打破了这一限制,但在进一步提高频谱效率的同时,也引入了符号间干扰(ISI),影响系统的检测性能。考虑到FTN传输中消除ISI的均衡算法成为研究热点,但复杂度往往很高,如何设计出一种综合考虑均衡和解码的性能与复杂度折中的FTN接收机是本文要研究的课题。本文利用并行干扰消除的思想,通过引入信息交织技术,结合迭代均衡结构和信道解码器,设计出高检测性能且具有低复杂度的FTN接收机。本文的主要研究内容包括:1、对比研究Nyquist传输信号和FTN传输信号,深入分析了FTN传输中固有ISI的特性以及FTN系统Mazo限相关理论。在单载波FTN系统中,仿真了线性的迫零(ZF)均衡和最小均方误差(MMSE)检测以及最优的最大似然序列估计(MLSE)和最大后验概率估计(MAP)等几种传统信号检测算法的性能。2、研究了基于神经网络实现的卷积码编解码算法,仿真最新5G中LDPC码编解码方案,并将两种编译码方案应用在FTN传输系统中。3、设计一种高性能低复杂度的FTN迭代接收方案。首先利用并行干扰消除技术(PIC)对单载波FTN信号进行接收检测,仿真和分析该算法的检测性能。然后通过引入置信度估计方法对PIC算法进行改进,仿真结果表明此改进算法相比于原始算法有一定性能提升,但是检测性能仍远达不到最优算法性能。针对这一问题,本文改进了PIC算法中的迭代反馈信息并且引入帧间的信息交织,进一步提升算法的检测性能。仿真结果显示,改进的PIC-II算法在原始PIC算法无法解调的调制阶数4QAM,压缩比取0.4甚至0.35情况下可以完成有效解调,并且在特定压缩比条件下可以达到M-BCJR算法的检测性能,而其复杂度仅为M-BCJR算法的数十分之一。