认知科学和神经科学领域的大量研究表明,人脸和语音之间存在潜在的关联,利用这种关联,可完成跨人脸-语音生物特征识别。跨人脸-语音生物特征识别技术在现实生活中具有一定的实用性,可以促进认知科学和人机智能交互技术的发展,具有非常重大的现实意义和广泛的应用前景。针对跨人脸-语音生物特征识别技术目前存在的一些问题,本文提出了一系列解决方案:（1）针对模态内和模态间差异导致的误配问题,提出了基于双重约束的三元组损失的跨人脸-语音识别模型。该模型设计了一种基于双重约束的三元组损失,可以同时实现模态间判别性约束和模态内约束,有效地缓解了模态内和模态间差异。同时,该模型在损失函数中还融合了身份损失和中心损失,前者用来确保特征的可分性和训练的稳定性,后者用来拉近同一类别样本之间的距离。（2）针对模态间缺少交互带来的关联学习不充分问题,以及训练样本形式单一带来的模型泛化性能不足问题,提出了一种基于双向困难五元组损失的跨人脸-语音识别模型。该模型在人脸子网络和语音子网络的顶端引入了一种新颖的加权残差网络模块,该模块引入了加权残差结构以及非线性激活单元,并且所有参数由两个模态共享,确保模态之间可以充分交互。另外,该模型从困难样本挖掘角度,设计了一种双向困难五元组损失及对应的双向困难五元组构造策略,其中的双向困难五元组由不同的形式的困难三元组构成,有效地提高了模型的泛化性能。（3）针对现有的跨人脸-语音数据集标签单一导致的监督信息不足问题,提出了一种结合自监督学习的跨人脸-语音识别模型。该模型将监督学习和自监督学习方法整合进了一个框架,监督学习部分保留了身份损失,自监督学习部分提出了一种跨模态深度聚类框架,采用一种模态特征的聚类结果作为另一个模态对应特征的伪标签,通过优化预测标签与伪标签的损失来引导网络的学习。在公开的人脸语音数据集Voxceleb1上的实验结果表明,相比现有模型,本文提出的三种模型在四种跨模态匹配任务上均取得了有效提升。