近年来随着神经网络技术的不断发展,其应用的领域也愈加广泛,特别是卷积神经网络改善了传统算法需要手工提取特征的问题,在图像识别领域取得了突出的成绩。而红外图像作为传统可见光图像的一种补充,其在某些特定场景下,例如夜间、大雾等,有着不可替代的优势。由于红外图像分辨率一般较低,且细节部分较为缺失,如何对红外图像进行高速处理算法也成为了热门的研究议题。同时受传统终端其硬件资源的限制,很多实际应用场景下在普通电脑表现良好的算法在终端上运行受限,如何在小型化、低功耗的平台上运行这些算法也是需要我们去研究的。本文从以下几个方面展开研究:首先详细的分析了人工神经网络的数学模型,前向传播与反向传播过程,和如何进行网络的训练。并指出了其中的缺点,进而提出了卷积神经网络是如何解决这缺点的,同时介绍了卷积神经网络的几种典型结构和它们是如何进行运算的。然后根据经典的LeNet-5网络模型进行优化改进,提出了一种可用于红外图像识别的神经网络模型。通过pytorch网络框架搭建神经网络与数据集,并进行训练,最终在测试集上达到了 96%的识别准确率。然后针对终端等资源有限的应用场景,提出了网络模型压缩的几种方案,并选取卷积层量化与全连接层剪枝的压缩方案应用在红外图像识别网络上,测试得到的识别准确率为94%,比原版网络下降2个百分点,但压缩后的网络整体大小为原始网络的35%,实现了识别准确率下降在可接受范围内,较大幅度的压缩了网络大小,使得其在硬件实现上更加灵活。考虑到卷积运算存在大量的并行特性,提出基于FPGA的卷积神经网络加速器设计方案。通过Vivado HLS高层次综合,使用C/C++语言描述算法再转换成RTL级实现。同时采用多种优化指令,包括流水线优化、循环完全展开、数据类型优化等多种方式对卷积层、池化层与全连接层进行硬件层面上的优化,并以IP核的形式进行导出,然后使用Vivado集成开发环境完成最终系统的搭建并生成对应的比特流文件。在PYNQ-Z2平台上完成了比特流文件的烧写并进行了系统功能的测试,使用硬件实现的红外识别网络的识别准确率为93%,并与传统CPU/GPU平台进行对性能与功耗上的对比。运算速度比CPU平台快4.3倍,但比GPU平台慢1.2倍;但在功耗方面CPU平台是其37.6倍,而GPU平台则是其61.6倍。测试结果表明了本系统实现了预期的性能指标,满足了设计要求。