发布时间:2026年01月29日 作者:aiycxz.cn
当前位置:首页 > 计算机论文基于深度学习的多模态医学图像融合研究综述 来源:一起赢论文网 日期:03-20 浏览数:331 【 字体: 大 中 小 大 中 小 大 中 小 】 第 40 卷 第 6 期 计 算 机 学 报 Vol. 40 No. 6 2017 年 6 月 CHINESE JOURNAL OF COMPUTERS Jun. 2017基于深度学习的多模态医学图像融合研究综述李 晖1) 肖 波1) 郭 磊2) 薛 峰1) 刘 俊1) 刘 鹏1) 李 涛1)1)(合肥工业大学计算机与信息学院 合肥 230009)2)(合肥工业大学数学学院 合肥 230009)摘 要 多模态医学图像融合在临床诊断、手术导航和放疗规划等医学应用中具有重要的研究意义和实用价值.传统的多模态医学图像融合方法主要分为基于多尺度变换、稀疏表示和显著性的方法等,这些方法通常需要复杂的融合规则设计,且严重依赖于人工设计特征,融合图像质量有待提高.近年来,深度学习在计算机视觉、自然语言处理等领域取得了巨大成功,其强大的特征学习能力为多模态医学图像融合提供了新的解决思路.该文对近年来基于深度学习的多模态医学图像融合方法进行综述,首先介绍多模态医学图像融合的背景和意义,然后介绍深度学习的基本概念和常用模型,接着对基于深度学习的多模态医学图像融合方法进行分类综述,并介绍多模态医学图像融合质量评价方法,最后总结全文,并对未来可能的研究方向进行展望.关键词 深度学习;多模态医学图像;图像融合;特征学习;卷积神经网络中图法分类号 TP391 DOI 号 10.11897\SP.J.1016.2017.01223Survey on Multi-modal Medical Image Fusion by Deep LearningLI Hui1) XIAO Bo1) GUO Lei2) XUE Feng1) LIU Jun1) LIU Peng1) LI Tao1)1)(School of Computer Science and Information Engineering, Hefei University of Technology, Hefei 230009)2)(School of Mathematics, Hefei University of Technology, Hefei 230009)Abstract Multi-modal medical image fusion plays an important role in clinical diagnosis, surgical navigation and radiotherapy planning. Traditional multi-modal medical image fusion methods are mainly based on multi-scale transform, sparse representation and saliency. These methods usually require complex fusion rules and heavily rely on hand-crafted features, and the quality of fused images needs to be improved. In recent years, deep learning has achieved great success in computer vision, natural language processing and other fields. Its powerful feature learning ability provides a new solution for multi-modal medical image fusion. In this paper, we review the recent multi-modal medical image fusion methods based on deep learning. Firstly, we introduce the background and significance of multi-modal medical image fusion. Then, we introduce the basic concepts and common models of deep learning. Next, we classify and review the multi-modal medical image fusion methods based on deep learning, and introduce the quality evaluation methods of multi-modal medical image fusion. Finally, we summarize the full text and look forward to the possible research directions in the future.Keywords deep learning; multi-modal medical image; image fusion; feature learning; convolutional neural network1 引 言医学影像技术是临床诊断和医学研究的重要手段,不同的医学影像设备可以提供不同模态的医学图像,如计算机断层扫描(Computed Tomography, CT)、核磁共振成像(Magnetic Resonance Imaging, MRI)、正电子发射断层扫描(Positron Emission Tomography, PET)、单光子发射计算机断层扫描(Single-Photon Emission Computed Tomography, SPECT)、超声成像(Ultrasound, US)等.这些医学图像从不同角度反映人体内部的组织结构、生理功能和病理信息,为医生提供重要的诊断依据.然而,由于成像原理不同,不同模态的医学图像具有不同的特点,如 CT 图像对骨骼等硬组织成像清晰,但对软组织成像模糊;MRI 图像对软组织成像清晰,但对骨骼成像模糊;PET 和 SPECT 图像能够反映人体新陈代谢和功能信息,但空间分辨率较低.因此,单一模态的医学图像往往不能提供全面的诊断信息,需要将多模态医学图像进行融合,以获取更全面、更准确的诊断信息.多模态医学图像融合是指将来自不同成像设备的医学图像进行配准和融合,生成一幅包含多模态信息的融合图像.多模态医学图像融合在临床诊断、手术导航和放疗规划等医学应用中具有重要的研究意义和实用价值.例如,在肿瘤诊断中,将 CT 图像和 PET 图像进行融合,可以同时获得肿瘤的解剖结构和代谢信息,提高