随着医学影像技术的进步,大量的甲状腺结节可以通过超声图像的方式检测出来,但是医生很难通过图像来准确判断这些结节的良恶性。因此,细针穿刺活检（FNA）是超声诊断后常用的甲状腺结节良恶性诊断方法,但是其诊断结果的偏差仍然较大,其中至少有20%的甲状腺结节,通过FNA检查仍然无法给出明确的诊断建议。近年来随着分子诊断的发展,通过检测细针穿刺标本中的基因突变可以大大提高甲状腺结节诊断的结果,但其灵敏度较差,工作量大,不便大规模推广使用。无法通过超声图像来准确判断结节的良恶性,造成了大量不必要的活检和手术,这给患者带来了巨大的精神压力和经济压力。近年来,随着深度卷积神经网络在自然图像分类的优秀表现,深度学习开始被提出应用于医学图像的分类。目前大部分的甲状腺结节超声图像计算机辅助诊断系统都集中于实现图像良恶性的诊断,但是单纯的良恶性的诊断,对于患者和放射科医生来说都缺乏一定的可解释性。因此,本文提出一种基于多任务卷积神经网络和传统检索融合的模型,来实现更加准确的甲状腺结节超声图像诊断。该模型在实现甲状腺超声图像良恶性诊断的基础上,还通过多任务神经网络和传统检索的方法相互融合来生成一份关于此图像的超声诊断报告,诊断报告可以使图像良恶性的诊断结果具有更强的可解释性。实验表明,我们的模型能够生成结构良好的句子,同时在一定程度上减少医生的工作量。本文的主要工作可以概括如下:1)提出了一种甲状腺结节辅助诊断模型,这个模型输入一张甲状腺超声图像,通过分析超声图像中的特征,输出针对于该图像良恶性、回声等方面的分类结果,辅助放射科医师对甲状腺结节进行诊断。2)提出了一种基于多任务卷积神经网络和传统检索相结合的模型,用来生成一段结构固定、语义较准确的超声诊断报告。本文通过使用多任务神经网络的分类结果来组成一段结构固定的超声诊断报告,同时报告数据库的引入可以使得生成的报告结构更加多样化。3)本文的方法能够有效的分类甲状腺结节图像,并生成一段描述性的报告。与其它图像描述方法所生成的报告相比,本文模型所生成的报告在各项评价指标上都表现较好。