近十年来,深度神经网络（DNNs）作为一种备受关注的技术,它在多种应用场景下快速发展,推动了各种产业化的创新变革和转型,将人工智能更多地带入了人们的生活。伴随着数据量的增加、算力的提升、算法的不断创新以及相关开源框架的普及,DNNs的使用出现了井喷式的爆发增长。目前DNNs被广泛应用于包括智能机器人、自动驾驶、计算机视觉、语音处理在内的诸多领域,并且在这些场景下,DNNs往往能够提供超越人类准确性的SOTA性能表现。然而,DNNs出色的性能是以高计算复杂度为代价的,同时考虑到大多数DNNs模型的巨大参数规模,其算法在能量消耗上毫无疑问是巨大的。随着应用场景的增多,DNNs处理平台出现了向定制化加速硬件发展的趋势,越来越多的DNNs需要被部署到内存较小和计算资源受限的边缘设备上,例如手机以及一些涉及安防的端侧设备,这就需要DNNs以更节能的方式运行。在这种情况下,能够高效处理DNNs以灵活地实现高性能和高效率,又不牺牲对应场景下的性能表现,对于DNNs优化部署十分重要。另外,尽管开源框架在设计、训练和部署DNNs到通用计算设备（如CPU、GPU和DSP）上非常流行,但在定制化设计的可重构硬件加速器领域,并没有现有的通用优化框架,能够优化DNNs部署配置,并进一步指导具有特定精度和效率要求的硬件设计。因而,本文重点关注DNNs高效部署中的存在的问题,将软件优化和硬件设计紧密结合起来,以现有的开源框架作为模型优化的出发点,给出了一种新的、适合硬件推理的解决方案。在这篇文章中,我们提出了一种跨框架的、面向高效硬件推理的DNNs优化框架。首先,我们利用ONNX这种具有统一标准的开源格式作为中间表示,将来自其他开源框架下的模型转换到ONNX格式,并在这个过程中提供了一些例如层间算子融合的个性化操作选项。通过这种转换,既解决了在各种边缘计算设备上部署DNNs存在的跨框架部署适配困难的问题,又显著地降低了将来自多框架的模型部署到多种硬件平台上的整体复杂度。在将DNNs转换到ONNX格式之后,我们通过动态定点量化DNNs中的各种参数来降低数据精度,减少数据比特位宽,进而减少数据移动和存储开销。在这个模块,我们提出了一种权重等价变换优化算法,该算法不需要重训练调整超参,只需要利用少量无标签数据对DNNs网络的权重和激活进行统计分析,通过添加一个BN层算子,从而进一步采用等价变换的方式来优化对应权重和激活的动态范围,提高量化精度。同时,考虑到DNNs当前在计算机视觉领域的巨大成功,我们继续探索了几个主流的图像分类和目标检测模型在上述优化策略下的表现,该过程采取完全基于DFP的高效硬件推理模拟的方式进行。更进一步,基于DFP硬件推理方式,文章研究了几种DNNs在各种比特位宽量化策略下的性能表现,分别针对权重比特位宽约束的量化和激活比特位宽的量化给出了详细的实验分析,以确定最优量化策略,为相关场景下制定化硬件加速器的设计参数选择提供指导性信息。与此同时,通过一个简单的DNNs编译器,可以将模型优化的结果,包括更新后的ONNX文件和相关的量化尺度信息进行编译,生成AI加速器硬件推理过程中需要的、包含重要信息的二进制文件。此外,为了进一步优化DNNs的硬件推理过程,我们提出了一种可重构的DNNs加速器硬件架构的基准参考设计,以实现高效、准确的可重构硬件推理过程。基于激活约束的量化实验结果表明,与FP-32准确率相比,采取12比特数位宽进行激活量化实验中用到的目标检测模型时,其mAP损失最多为1.5%,而对于分类模型来说,采取8比特位宽进行量化时,其Top-1的准确率损失不超过1.2%。