随着医疗行业信息化水平的不断提高,医学影像数据量日益膨胀,行业内普遍现状是对于这些具有多种模态的医学图像数据一直缺乏有效的管理和检索方式,多种模态的数据检索成为了亟需解决的问题。另外,如何快速检索到对医生有用的信息,解决检索过程中存在的效率问题也是需要考虑的,比如病灶的定位,而这在大多数时候还是依靠医生机械地在检索到的序列中进行寻找,计算机辅助分析的程度还不够。针对上述问题,我们构建了跨模态的医学图像检索系统,解决了在一个框架下如何对不同模态的影像包含的不同器官进行分割并实现检索的问题,同时将病变检测有机地整合到用户检索的过程中,帮助用户在检索结果中快速定位病灶。具体工作如下:对于器官检索功能来说,为了在检索结果中能够突出用户感兴趣的器官的轮廓和结构,我们需要对器官进行分割。一方面,我们构建了基于多任务学习的跨模态多器官分割框架,将影像分类与器官分割统一到同一框架下,设计了影像模态分析与器官类型推理模块,有效利用了用户在检索过程中提供的与影像包含的器官类型相关的高层语义信息,实现了对不同模态包含的不同器官进行分割;另一方面,在分割模型设计中,我们在基础U-Net网络的编码器中引入了残差单元,以及引入GAU模块替换UNet原来简单的跳跃连接结构,对基础的UNet结构进行改进,实现对不同器官进行分割。从实验结果看,相比于原有的UNet结构,这部分改进取得了更好的器官分割结果。在实现常见器官分割的基础上,我们进一步完成在临床上需求更为迫切的病变检索任务。在病变检索的部分,我们实现了对肝脏器官CT影像中的肝癌、肝囊肿、肝血管瘤等一些常见病变的检测和分类。算法处理流程采用了Faster R-CNN模型作为病变目标检测框架,然后通过迁移学习的思想对检测到的病变区域应用Inception v3网络以确定病变类别,相比于其他常用的分类方法取得了更好的分类结果。在对病变进行分类的过程中,我们通过DCGAN网络对数据集中部分样本数量偏少的类别进行图像数据生成,有效解决了数据集不同类别样本分布不平衡的问题,同时提高了病变整体检测和分类指标。在完成医学图像检索系统所需要涉及到的算法框架设计和实现之后,我们以C/S架构设计并实现了医学图像检索系统应用。在服务端,我们定义了检索过程中所需的若干实体及其关系模型,方便我们的系统添加和扩展新的检索目标类型。在离线处理阶段,服务端对器官和病变检索数据集应用预先训练好的模型进行批处理,并将处理后的结果保存到数据库中,为后续的用户检索请求提供数据来源。客户端为用户提供了使用文本和上传影像对服务端的器官和病变数据集进行检索两种方式,同时为了增强用户对检索结果的可交互性,服务于更多使用场景比如医疗教学活动等,我们集成了器官与病灶三维可视化模块,根据完整序列的分割结果在检索结果中渲染器官与病灶的三维立体结构,帮助用户对检索目标的三维结构建立更加直观的认识。