无人车的安全性备受关注,但真正安全的无人驾驶还任重道远,尤其是夜间无人车面临更多的挑战。夜视图像相比于可见光图像缺少色彩信息,对比度低、细节纹理特征少,加大了无人车在夜间做出正确决策的难度,易发生交通事故。而场景预测可以辅助无人车利用预测的夜视图像提前进行决策,从而降低因决策不及时发生交通事故的风险。因此,研究夜间场景预测对夜间无人车的行车安全具有重要意义。目前场景预测网络多见于可见光,夜间场景较少,但场景预测在夜间无人车安全驾驶中占有重要地位,所以本文结合无人车的实时性和准确性要求以及夜视红外图像特点,对夜间无人车场景预测进行了深入研究。本文主要研究内容包括三个部分:一、基于Conv LSTM的双通道编码夜间无人车场景预测;二、基于生成对抗网络的夜间无人车场景预测;三、基于多尺度特征图的夜间无人车场景预测。论文的创新点如下:1、提出了基于ConvLSTM的双通道编码夜间无人车场景预测网络,该网络结合有监督和无监督场景预测优点并考虑无人驾驶实时性要求,利用时间子网络和空间子网络分别对红外视频序列的动态信息和内容信息进行提取,融合后输入到解码网络中,实现红外图像预测。该网络预测图像较清晰,预测一帧用时0.02s,满足实时性要求,同时可以预测0.9s后的红外场景,为无人车提供了一定的决策时间。2、提出了基于生成对抗网络的夜间无人车场景预测网络,该网络在第1个创新点基础上利用限制对比度的自适应直方图均衡化和伽马变换对输入的红外图像进行增强,有利于网络获取更加丰富的时空信息,同时增加鉴别器网络,利用对抗损失函数提高网络预测能力。实验结果表明,该网络改善了红外预测图像的清晰度,预测一帧时长仍为0.02s,最多可预测0.9s后的夜视场景,提高了无人车后续决策的准确度。3、提出了基于多尺度特征图的夜间无人车场景预测网络,该网络在第2个创新点基础上,利用空洞空间金字塔代替空间子网络中部分卷积,提高细节信息在时空特征中占比,有利于解码网络对细节的建模;将鉴别器获取的真实红外图像和预测红外图像多尺度特征图误差融合到损失函数中,提高网络生成预测图像的质量。该网络有效改善了预测图像清晰度以及运动目标位置预测不准确的问题,同时长期预测的数量和质量都得到了提高,预测一帧满足实时性要求,可预测未来1.2s后红外场景,为无人车提供了更多的决策时间。