多输入多输出(MIMO)和正交频分复用(OFDM)技术是4G无线通信系统中的关键技术。MIMO技术在发射端和接收端处分别使用多个发射天线和接收天线,每个收发天线对之间形成MIMO子信道,可以在不增加带宽的情况下成倍地提高系统容量。OFDM技术在频域把信道分成许多正交的子信道,各子信道的载波频率相互重叠,提高了频谱利用率。因此,MIMO技术和OFDM技术的结合将成为下一代无线通信发展的必然趋势。本论文在MIMO-OFDM系统的基础上,对接收信号处理所需的信道估计和信号检测技术进行了深入的理论分析和数学推导。并且结合经典的线性最小均方误差(MMSE)检测结构简单、复杂度低的特点,以及最大似然(ML)检测精度高的优势,创新性地提出了基于循环迭代的选择性信号检测新方法。仿真结果表明,在低信噪比的条件下,我们提出的新方法可以有效改善系统的误码性能；而在高信噪比的环境下,该方法可以减少系统处理接收信号的时间,提高系统的实时性,证明我们提出的新方法具有很大的实用价值。论文的后半部分,我们针对未来有线和无线网络融合的趋势,在原有MIMO-OFDM系统的基础上引入ROF(Radio Over Fiber)技术,选取基于部分采样的非线性信道估计方法,以此解决信号在光纤传输过程中产生的色散和受到的非线性畸变影响,并对此混合系统的信号检测性能进行了仿真分析,验证了我们采用的方法适用于MIMO-OFDM-ROF的混合系统,为今后的进一步研究打下了坚实的基础。