随着无线电频谱资源的日益稀缺以及对通信容量要求的日益提高,传统的射频域通信在应对如此快速增长的通信流量时已经显现出疲态。在数据流量高速增长的背景下,自由空间光(Free Space Optical,FSO)通信以其宽带大,容量高,部署简便等优势逐渐成为了数据中心及小区用户信息传输的备选方案,并且FSO链路也在近几年得到了快速发展和部署。在存在两个合法接收者的FSO链路中,窃听者依然可通过在光束传输路径上通过截取发送光束能量的一部分完成窃听,因此FSO链路的通信安全至关重要。本文重点研究基于OAM复用的物理层安全问题。首先,本文研究了几种典型OAM光束的性质,包括拉盖尔-高斯光束、超几何光束以及贝塞尔-高斯光,并对上述几种典型OAM光束的均方半径进行了理论推导及比较。给出了在有限孔径限制下,FSO复用通信系统的最佳备选光束。其次,研究了大气湍流的不同功率谱模型,对当前存在的大气湍流相位屏仿真算法进行了研究对比,包括基于FFT的反演法以及基于低频分量补偿的倾斜屏法。本文对上述两种算法进行了实现和对比,并采用倾斜屏法生成了精度较高的大气湍流相位屏。之后在FSO系统中布置多个大气湍流相位屏,并且采用分步传播法仿真大气湍流信道下OAM光束的传输。对整数阶OAM复用系统与任意阶OAM复用系统分别进行了大量的传输实验,研究了不同湍流强度下对OAM光束的影响,并给出了对各复用系统模传输系数的干扰情况。最后,对OAM复用系统的系统容量以及物理层安全进行分析。研究在有限孔径限制下,大气湍流信道下OAM复用系统物理层安全。对等信道功率(Equal Channel Power,ECP)和固定系统功率(Fixed Channel Power,FSP)两种功率损耗方案分别进行了研究对比,给出各OAM复用系统的性能表现,对整数阶OAM复用系统和分数阶OAM复用系统的性能进行了深入研究。仿真实验结果表明,在有限孔径限制下,复用更多分数阶OAM光束可以有效地提高复用系统的物理层安全。最后本文研究了各个系统的正向安全通信的概率。