多模态医学图像融合技术综述

介绍了医学图像融合的级别和方式,重点对目前国内外医学图像配准和融合的技术与方法进行了阐述,最后提出了在医学图像融合技术研究中的几个热点问题.     

一种基于三维体数据的医学图像融合新方法

传统的医学图像融合技术是基于严格配准基础上的二维影像融合,对于两个具有不同扫描和成像参数的影像具有极大的局限性.本文提出的基于三维体数据的医学图像融合技术以三维重建为基础,对重建后的三维体数据,经三维几何和观察变换,达到空间位置上的重合,然后对变换后的两个体数据直接进行融合.在此基础上,按照解剖学结构,设置任意的解剖面对融合体数据进行截取,可以得到任意剖面的二维融合结果.三维融合技术不仅可以解决二维融合技术多模图像间分辨率不同的问题,而且可以避免二维融合技术中多模图像间配准误差的问题.研究证明,使用该方法不仅融合的结果更加准确有效,而且无需配准,适用于任意的医学成像设备的影像融合.     

医学图像处理技术浅谈

介绍了医学图像处理技术的各个方面,如图像的来源、图像分割、图像配准、图像融合等,简要阐述了各个方面的主要技术方法和发展方向,使得从总体上对医学图像处理技术有一个比较清楚的了解。     

医学图像配准方法分类及现状

医学图像配准是医学图像融合的前提，是目前医学图像处理中的热点，具有重要的临床诊断和治疗价值。依据7个标准对医学图像配准方法进行了分类，然后从3个方面综述了目前的一些主要的医学图像配准方法，如矩和主轴法、互信息法和相关法等。由于医学图像配准是一项比较复杂和困难的课题，尽管目前已提出许多算法，但并没有一种配准方法能在各个方面都达到理想要求，因此不得不在精确度、速度、自动化程度等方面加以取舍。随着计算机技术和医学成像技术的发展，医学图像的配准技术也一定会得到快速发展。     

基于深度学习的医学图像配准研究进展

图像配准是图像引导手术、图像融合、器官图谱生成、肿瘤和骨骼生长监测等临床任务应用的关键技术,也是一个极具挑战性的问题。近年来,深度学习技术对医学图像处理方法的研究产生重要的影响,在医学图像配准领域发展迅速。对使用深度学习技术实现医学图像配准的研究进行综述,首先按照深度学习模型将医学图像配准方法分为3类,包括监督、弱监督和无监督医学图像配准;然后分别介绍国内外研究进展,并总结这些研究方法的优缺点;在此基础上,阐述常用的深度学习配准框架以及评价标准,并总结常用的开源医学影像数据集;最后对深度学习技术在医学配准图像领域中存在的问题进行分析,展望未来发展的方向。     

基于小波变换的医学图像融合及基于体数据遍历算法的三维重建

在临床的实际应用中，基于小波变换的单模态的医学图像中的计算机断层造影术(CT)和核磁共振图像(MRI)之间的数据融合提供了更丰富的信息．融合图像的3D(threc dimensional)重建采用表面绘制方式，所用的一种体数据遍历算法，既提高计算效果，又能进行真实感曲面的显示，并可实现对感兴趣区域(Region of interest．ROI)的分割提取、三维重建和显示，提高医学诊断的准确性和可靠性．     

多模态医学图像融合图像质量评估

目前大多数的质量评估算法都应用于自然图像的融合场景,缺乏专用评价的医学图像数据集及多模态医学融合图像的质量评估算法。针对此问题,利用17种经典的医学图像融合方法构建医学图像主观数据集,解决无专用评价数据集的问题;提出一种基于色彩相似度(color similarity,CS)和信息相似度(information similarity,IS)的客观医学图像质量评价方法。将CS模块用于测量局部颜色失真,在传统的池化层上添加背景分离模块使其适用于医学图像多背景干扰特性;将IS模块用于衡量信息失真,改进图像熵的计算方法,添加过滤模块以剔除图像噪声。实验结果表明,所提方法的预测值和主观数据集客观评分具有更好的一致性,更符合人类视觉系统。     

基于小波变换的医学解剖与功能像融合新算法

摘要： 近年来,用于从多模医学图像数据中挖掘有用信息的融合算法不断被提出。但是,还没有一种合适的算法用于医学解剖和功能像的融合。基于此,提出一种基于小波变换的新方法,用于医学解剖和功能像的融合。选择高频系数时,通过计算各子图像的全局梯度来实现高频信息的融合,使融合后的图像较好地保留解剖结构所对应的功能信息;低频系数采用基于邻域能量的融合算法,保留解剖图像的边缘和纹理特征。实验结果和评价参数表明,这种改进的医学图像融合算法强化了融合图像的边缘和纹理特征,有效地保留了原图像的解剖信息和功能信息。     

基于小波变换的医学解剖与功能像融合新算法

近年来,用于从多模医学图像数据中挖掘有用信息的融合算法不断被提出.但是,还没有一种合适的算法用于医学解剖和功能像的融合.基于此,提出一种基于小波变换的新方法,用于医学解剖和功能像的融合.选择高频系数时,通过计算各子图像的全局梯度来实现高频信息的融合,使融合后的图像较好地保留解剖结构所对应的功能信息;低频系数采用基于邻域能量的融合算法,保留解剖图像的边缘和纹理特征.实验结果和评价参数表明,这种改进的医学图像融合算法强化了融合图像的边缘和纹理特征,有效地保留了原图像的解剖信息和功能信息.     

多模态医学图像的融合研究

图像融合作为一种有效的信息融合的技术,已广泛用于医学图像、军事、遥感、机器视觉等领域．基于小波变换的图像融合是一种新的多尺度分解像素级融合方法,利用小波变换分别对CT,MRI医学图像进行分解处理,按照融合规则构造融合图像对应的各小波系数,再根据融合图像的各小波系数重构融合图像,重构后的融合图像完好地显示源图像各自的信息．实验图像使用互信息量化判据来评价融合效果,结果表明小波变换比传统的像素级加权平均融合算法效果更好．     

基于残差密集块和自编码网络的红外与可见光图像融合

红外与可见光图像融合是复杂环境中获得高质量目标图像的一种有效手段,在目标检测与跟踪、图像增强、遥感、医疗等领域有广泛应用前景.为解决目前基于深度学习的红外与可见光图像融合方法中存在的网络无法充分提取特征、特征信息利用不充分和融合图像清晰度低的问题,本文提出了一种基于残差密集块的端到端自编码图像融合网络结构,利用基于残差密集块的编码器网络将图像分解成背景特征图和细节特征图,然后将两种特征图进行融合,再通过解码器进行重构,还原出最终的融合图像.测试结果表明,本文的方法可以得到清晰度高、目标突出、轮廓明显的融合图像,在SF、AG、CC、SCD、Qabf、SSIM 6个融合质量评估指标上与目前代表性融合方法相比均有不同程度的提升,特别是在融合图像清晰度上优势明显,且对于模糊、遮挡、逆光、烟雾等复杂环境图像有较好的融合效果.      

多参数区域特征的医学图像融合方法

基于医学影像MRI和CT图像互相联系、互相补充的特点,为了更好地实现不同模态医学图像间的融合,提出一种改进的基于区域特征的医学图像融合方法。原理是根据图像小波变换系数的一系列参数如区域均值、方差、协方差等构造加权因子和匹配度,对代表图像细节信息的高频子图进行区域融合;然后对低频部分采取选择极大绝对值的原则,对图像进行融合。最后经过小波重构得到输出图像。经过主观和客观评价对实验结果进行综合评价,此方法处理过的图像能得到良好的视觉效果和理想的指标,时间上也减少了0．25s,适用于实时系统的应用。     

基于小面元配准的倾斜遥感图像拼接

针对倾斜遥感图像拼接中存在配准精度不高,重叠区域出现重影的问题,提出了利用三角网进行小面元配准及加权融合的拼接方法。首先,求解全局单应性矩阵进行图像预对齐,并利用转换矩阵提取图像重叠区域;其次,利用特征匹配对构建重叠区域Delaunay三角网并对相应三角网逐个进行仿射变换实现精确配准;最后,利用渐出渐入式融合消除图像重叠区域重影,提高了图像拼接目视效果。通过主观评价(CCIR500-1的主观评价标准)与客观评价[峰值信噪比(peak signal-to-noise ratio, PSNR)评价和结构相似性(structural similarity index, SSIM)评价]相结合的方式对图像配准及拼接质量进行评价。实验结果表明:该方法能够有效提高图像配准精度,消除图像拼接重叠区域的重影,相比于当前主要算法,该算法配准精度更高,图像拼接目视效果更好,能有效地应用到倾斜图像拼接领域。     

城市卫星遥感图像融合处理质量评价研究

常用的遥感融合方法常导致较严重的光谱畸变,为减少融合图像光谱特征的扭曲,提出三种新融合方法即合成变量比值法(SVR)、平滑滤波亮度调制法(SFIM)和Gram_Schimdt变换法(GS)。采用定量分析方法,分别对中等分辨率Landsat ETM+数据和高分辨率Quickbird数据的融合效果进行了评价。结果表明,不同方法具有不同的光谱保真度和空间信息融入度。同一种方法对于不同分辨率的遥感数据具有不同的融合效果。对中等分辨率Landsat ETM+数据,SFIM能产生较高的空间信息融入度和光谱保真度。利用中等分辨率Landsat ETM+数据进行融合处理时,SFIM优于合成SVR和GS;在高分辨率Quickbird数据的融合中,SVR能产生较高的空间信息融入度和光谱保真度。利用高分辨率Quickbird数据进行融合处理时,SVR则优于SFIM和GS。在中等分辨率Landsat ETM+数据、高分辨率Quickbird数据融合处理中,基于SFIM、SVR融合方法能分别获得较好的视觉效果,又能改善目视解译和遥感分类精度。     

基于地理定位的影像分辨率融合方法

基于地理定位的影像分辨率融合方法避免传统人机交互选取控制点所带来的误差影响,整个过程不产生人为误差。地理定位法对两幅SPOT5-1A数据影像的融合影像在质量、配准精度、时间效率上都优于传统方法的融合影像。地理定位法融合影像是一种高效、可靠的影像分辨率融合方法,使批量处理影像融合工作成为可能。     

GHM多小波变换在医学图像融合中的应用

多模态医学图像的融合是近几年兴起并且发展较快的一种新技术。它能将不同图像提供的互补信息综合在一起,在医学影像学和放射学领域中有着重要的应用价值。本文采用了GHM多小波成功的对不同模态的医学图像进行了融合。实验结果表明GHM多小波能够获得较好的融合效果。