射频指纹识别是一种识别辐射源设备的过程,分为已训练辐射源的识别和新增未训练辐射源的识别,已训练辐射源即已经提前训练过,在训练库中的辐射源类别,新增未训练辐射源即在识别过程中首次出现,不在训练库中的辐射源类别。目前的研究首要解决的问题是实现对辐射源设备的准确高效识别,然而随着辐射源种类的增加,已训练辐射源不能完全覆盖待检测设备,新增辐射源设备的检测判别问题逐渐凸显。本文将神经网络应用到辐射源识别领域,一方面研究轻量级网络提升了识别率的同时减少了网络计算量,另一方面,针对新增辐射源检测和识别,研究了聚类和生成对抗网络的两种方案。本文的主要工作如下:1、提出一种基于无监督SK-GAND神经网络的新增辐射源检测方案,将传统GAN（生成对抗网络）的异常检测应用于新增辐射源检测领域。在传统GAN网络的基础上添加SK（自动选择卷积核）模块,将传统卷积层修改为多通道同时处理的组卷积层,去除原有池化层和全连接层;并设置两个阈值γ和ω确定已训练辐射源和新增辐射源的边界,提出多鉴别器模型;实验结果显示,改进后的SK-GAND网络在辐射源数量5个以内有90%判别率,12个以内有80%判别率,验证了该网络在新增辐射源检测领域进行二分类检测的可行性,证明了SK-GAND适用于辐射源检测阶段。2、提出一种全新的数据处理方法,利用轻量级神经网络进行已训练辐射源识别。将I/Q数据经过归一化处理,再分段映射为固定图像尺寸的图形,从而形成图像数据集合;针对传统网络层数多,计算量大的问题,将轻量级网络应用于辐射源识别领域,搭建并对比了VGG16传统卷积神经网络和Res Net18、Shuffle Netv1两种轻量级神经网络在基于I/Q数据集和图像数据集的辐射源识别效果和网络模型训练时间,验证了图像映射处理方法在神经网络中的可行性,选择了更为适合辐射源识别领域的Shuffle Netv1残差网络。3、设计基于无监督学习聚类算法的新增未训练辐射源识别方案。首先,将信号数据经过VMD（变分模态分解）、盒维数计算和PCA降维得到的指纹特征,建立K-Means（K均值聚类）和DBSCAN（密度峰值聚类）聚类算法模型,通过比较两个算法的聚类效果,选取聚类效果更好的DBSCAN算法。结果验证了聚类算法在新增辐射源识别领域的可行性,在设备数量较少时可准确识别新增辐射源,设备数量越多,识别效果越差,聚类算法更适合应用于辐射源检测后的新增辐射源分类阶段。