行车环境的三维结构是自动驾驶系统对目标进行识别和定位的基础信息。基于视觉数据的三维重建算法具有成本低、重建结果稠密的优点,但无法在雨雾等极端天气条件下获得精确的重建结果;基于激光雷达(LiDAR)数据的重建算法鲁棒性较高,但存在数据稀疏或成本高的问题。因此,对极端环境下基于视觉数据和LiDAR数据融合的三维重建技术进行研究具有重要意义。视觉数据以像素为基本元素,记载了场景的颜色及纹理信息;而LiDAR数据以三维点为基本元素,记载了场景的空间坐标信息,如何将两种不同的数据进行有效的融合是一个具有挑战性的问题。因此,本文基于深度学习理论,结合LiDAR和摄像头感知技术,开展了行车环境下基于特征层信息融合的三维点云重建技术的研究。具体研究内容如下:针对自动驾驶环境下单传感器深度估计算法精度不足的问题,研究了一种基于信息融合的深度估计算法,构建了一种基于视觉数据和LiDAR数据的特征融合架构。该架构分别提取两种数据的特征,并在后端进行融合,解决了视觉数据和LiDAR数据融合困难的问题,实现了两种数据在特征层上的融合,提升了极端环境下深度估计的精度。针对基于融合的深度估计算法计算复杂度高、时间长的问题,研究了一种基于特征变换的深度估计加速算法,构建了一种基于视频冗余性的特征变换网络。该网络将关键帧特征变换为当前帧特征,解决了视频流冗余信息重复处理的问题,实现了视频流的实时深度估计。针对重建点云噪点过多的问题,研究了一种基于深度信息的点云重建算法,构建了一种基于多任务学习的点云平滑网络。该网络利用辅助分支对结果进行平滑,缓解了点云噪点过多的问题,实现了行车环境下点云的稠密重建。最后在Virtual KITTI虚拟数据集上对算法进行了实验验证。结果表明本文研究的特征层融合深度估计算法在浓雾环境下的准确率达到了95.83%,较直接融合算法提高了约1%;研究的深度估计加速算法在损失较小精度的情况下,实现了对视频流的实时处理;同时,研究的点云重建算法实现了像素的逐点稠密重建。