图像匹配技术是计算机视觉领域的关键技术之一,在各个方面均有着广泛的应用。传统的图像匹配算法依靠浅层特征,在现实应用中,为适配特征,需耗费大量时间制作模板,操作过程复杂,效率较低。且算法抗干扰能力较差,对图像视点变换等情况适应性一般。本文针对此情况,利用深度学习强大的特征提取能力,将深度神经网络应用于图像匹配,研究了基于异构孪生网络的图像匹配算法。本文首先在现有的相似度比较网络基础上,初步设计了两个图像匹配网络,并对网络的优缺点进行了分析。其次,将匹配流程与传统算法类似的全卷积孪生网络进行改进,先将基础网络替换为ResNet18,并融合网络底层与顶层特征,同时考虑到支路特征及度量的不对称性,最终设计了两种异构孪生特征金字塔网络(HeS-FPNv1、v2)。并将模板与待匹配图相关卷积方式改为深度可分离型卷积,提高实时性。同时摒弃了原始全卷积孪生网络的多尺度模板,在相关卷积后加入区域选取网络(RPN)自动生成多尺度匹配结果,并结合图像匹配的特点,改变传统RPN网络正负样本的选取方式,设计了相应的损失函数,且加入梯度约束损失项,提升网络性能。为进一步提升匹配精度,本文借鉴孪生区域选取网络,设计了一种多层特征融合的异构孪生区域推荐网络(MF-HeSRPN),加入位置相关结构,在衡量相似度的同时进行位置回归,同时在网络最后加入了位置精修结构,提升匹配精度。考虑到网络的特点,对RPN网络的样本选取方式再做改进,使用均衡损失函数来适配样本选取方式,同样使用梯度约束损失项提升网络稳定性,增强性能。最后,本文在公开数据集与自标数据集上对网络进行测试,验证了本文改进的有效性。其中MF-HeSRPN泛化能力较强,匹配精度最高。同时也证实了加入位置相关后,图像匹配网络性能提升巨大。最后将深度学习与传统的匹配算法进行对比,验证了深度神经网络的抗干扰能力远强于传统算法,且可适应多视点等情况下的匹配。