可见光通信(visible light communication,VLC)可以提供大量潜在带宽,无需频谱资源认证,无电磁辐射干扰,被认为是未来宽带接入和短距离通信方式上一项重要的补充技术。近年来,随着高速通信的发展,波分复用技术(WDM)在VLC系统中得以广泛应用,光源颜色也由白色荧光LED发展为多色LED。然而随着光源颜色的增多,发射端合成白光LED难度增大,接收端对通道的分离难度也加大,目前已有对发射及接收端光学天线的使用,均存在很多不足。针对上述问题,本文首先对多色可见光通信发射光学天线进行了深入研究,重点设计了一种基于室内四色VLC系统的混白光发射天线,系统包括积分棒及菲涅尔透镜组两个模型,文章通过对两模型的理论分析、仿真设计,总结出了两款白光发射天线系统:方棒系统和六边形棒系统。通过对比分析得出:当光源为四色LED时方棒系统性能更优。该天线可在1.77m通信距离处均匀照明750mm×750mm区域。所混白光在整个照明面区域内照度均匀性高达73.37%,且颜色均匀,总照度值为224.15lx,适于照明使用。在通信系统中,实验验证了该天线可实现340Mbps速率传输且移动过程中信噪比稳定,适用于移动通信。章节最后还提出了一款小发散角白光发射天线设计方案,比上述天线效率相对提高了84.53%,适用于对照明面积要求不大的可见光通信系统。本文后续研究了两种基于多色可见光通信系统的分通道接收天线,第一种是双通道定向接收天线,该天线光学效率可达81.2%,光学增益较大,视场角为3°左右,实验验证了该天线具有分通道数据传输的可行性与正确性。第二种是大视场四通道接收天线,视场角可达100°,通过3个光学棱镜,实现四通道传输。该天线在各个视场、各个通道,效率均高于72.79%,光学增益值为10左右,已达到最优配置,为多通道可见光通信系统提供了更加适用的接收天线设计方案。