目前，对于无线和有线网络的高数据速率和带宽要求越来越急迫，下一代光接入网致力于提供有线和无线双重服务。同时服务固定终端和移动终端的光纤无线通信(ROF)系统，成为当前通信领域的一个研究热点。有线、无线信号的混合调制技术和基站简化是实现全双工混合传输的ROF系统的关键，本文利用模拟仿真和实验的方法对这两个技术进行了研究，取得的主要成果如下： 第一，建立了一种使用一个集成调制器实现混合调制，并远程传送电本地振荡(LO)信号的理论模型，通过系统模拟仿真验证了全双工系统的可行性。基于建立的模型，成功的实现了2.5Gbit/s的有线数据和633Mbit/s PSK格式的无线数据混合传输下行50km并远程传送40GHz的电LO信号至基站。 第二，提出了一种使用双臂的M-Z调制器，并远程传送光LO信号的新方案，该方案在基站利用电吸收调制器(EAM)同时实现上行数据的高效下变频和调制。通过理论推导和实验验证，证实了EAM实现高效下变频的可行性。通过实验将光毫米波信号传输经20km光纤后，再经EAM下变频得到的中频(IF)信号的功率代价大约为3dB。然后我们将其特性运用到混合传输的ROF系统中，通过仿真结果表明，下行均为2.5Gbit/s的有线和无线数据，上行同样为2.5Gbit/s的基带数据，能传输长达50km光纤甚至更远。 第三，实验研究了一种采用单个单臂调制器生成高频毫米波的方案及波长重用的全双工ROF系统；并模拟实现了一种生成高频毫米波的、同时提供有线和无线服务的ROF混合网络。该方案仅用一个单臂的LiNbO3强度调制器，生成4倍频于射频信号的毫米波信号，而且实现了上行链路的波长重用，下行链路功率代价小于0.5dB，上行链路功率代价为1.7dB。而高倍频的混合传输ROF系统，利用双频二阶边带承载无线数据，中心载波携带有线数据并波长重利用于基站，上/下行链路模拟传输50km光纤，其眼图效果都较好。