对比增强的关联记忆网络用于医学图像报告生成

在现有的医学影像诊断报告自动生成模型中,仅利用输入图像的视觉特征来提取相应的语义特征,并且生成词之间关联较弱和缺乏上下文信息等问题。为了解决上述问题,提出一种对比增强的关联记忆网络模型,通过对比学习提高模型区分不同图像的能力,设计了注意力增强关联记忆模块根据上一时间步生成的单词来持续更新,以加强生成医学图像报告中生成词之间的关联性,使得本模型可以为医学图像生成更准确的病理信息描述。在公开IU X-Ray数据集和私有胎儿心脏超声数据集上的实验结果表明,提出的模型在Cider评估指标方面明显优于以前的一些模型(与经典的AOANet模型相比较,在IU X-Ray上Cider指标提升了51.9%,在胎儿心脏超声数据集上Cider指标提升了3.0%)。     

基于注意力机制的细粒度图像分类

针对细粒度图像分类中数据分布具有小型、非均匀和不易察觉类间差异的特征,提出一种基于注意力机制的细粒度图像分类模型.首先通过引入双路通道注意力与残差网络融合对图像进行初步特征提取,然后应用多头自注意力机制,达到提取深度特征数据之间细粒度关系的目的,再结合交叉熵损失和中心损失设计损失函数度量模型的训练.实验结果表明,该模型在两个标准数据集102 Category Flower和CUB200-2011上的测试准确率分别达94.42%和89.43%,与其他主流分类模型相比分类效果更好.     

群搜索算法与Powell法结合的医学图像配准

为了实现医学图像的快速准确配准,提出了基于群搜索算法,以及群搜索算法与Powell法相结合的医学图像配准算法,并以互信息作为图像配准的相似性测度,使用群搜索算法、群搜索与Powell法相结合的方法在指定的搜索空间求解配准所需的空间变换参数,从而实现图像的配准.实验结果表明:群搜索算法能够成功实现医学图像配准,与粒子群算法相比,群搜索算法用于医学图像配准能够得到更高的配准精度;群搜索算法与Powell法结合,能够在减少目标函数计算次数的基础上,极大地提高图像配准的精度.     

基于轮廓提取的医学图像配准方法

提出一种基于轮廓提取及循环迭代的估计医学图像间配准参数的方法，并构造了评价函数用于指导循环迭代过程．通过对实际医学图像进行实验，结果表明这种方法不仅适合单模态医学影像的配准，也非常适合多模态医学影像的配准．     

基于互信息和混合优化算法的多模医学图像配准

针对互信息函数的多极值问题,提出了一种基于混合优化算法的多模医学图像配准方法.对于多模医学图像,以互信息作为相似性测度,使用混合优化算法搜索出最佳配准变换参数,将待配准图像进行变换,从而达到配准的目的.实验表明,该算法能避免陷入局部最优值,配准结果精度达到亚像素级.     

融合多尺度注意力和双向LSTM的行人重识别

将深度学习应用于行人重识别领域,嵌入多尺度注意力融合模块至神经网络中进行多尺度特征提取和表示,可有效提升注意力机制对深度学习网络的识别性能。提出了一种基于SE block的多尺度通道注意力融合模块,并结合ResNet50卷积神经网络提取特征;然后通过双向LSTM网络进一步提取特征序列上下文信息,在提高模型对图像重要特征的提取能力的同时,降低对图像冗余特征的关注度;最后使用级联难采样三元组损失函数和交叉熵损失函数共同训练网络模型,使样本能够在高维特征空间中实现聚类,进一步提升模型识别准确性。所提出算法在Market1501数据集和CUHK03数据集分别进行实验,并在同等条件下和其他注意力模块算法进行比较。为进一步验证各模块作用,对算法进行消融实验,以验证各模块的有效性,实验结果表明,所提出方法可有效应用于行人重识别     

基于生成对抗网络的乳腺MRI图像生成

乳腺癌磁共振成像(nuclear magnetic resonance imaging, MRI)数据由于不同医院采集方式不同、设备不同或病人等自身原因，会存在同一病人不同序列缺失的问题。目前主流的图像生成对抗网络Pix2Pix和Cycle-consistency是医学图像生成的两种主要模式，这类方法要求不同MRI序列数据配对出现，难以处理存在缺失的数据，此外，该类方法往往关注整幅图像的生成质量，缺少对疾病诊断更有价值的病灶区域的生成质量的监控。针对以上问题，该文受配准网络(RegGAN)自适应对准图像空间分布的启发，设计了一种新的基于特征增强的双注意力配准生成对抗网络DA-RegGAN。该网络在生成器中引入卷积注意力模块，使网络更注重病灶的学习；在判别器中添加梯度正则化约束，主要解决网络训练不稳定容易出现模式崩溃的现象，使网络生成包含更清晰的病灶细节全局图。该文在1 697幅乳腺数据上开展消融实验、不同图像生成算法间的对比实验、肿瘤分类实验，进一步验证了方法的有效性。与原始RegGAN比，全局图像生成质量和局部病灶图像生成质量均得到提升，局部图像质量较原始PSNR提升了0.518,S...     

注意力机制下的多层次特征融合图像去雾算法

提出一种基于注意力机制的多层次特征融合的图像去雾算法.该算法通过残差密集网络和自校准卷积网络来提取不同尺度的特征,再利用双重注意单元和像素注意力将特征融合重建.同时采用一种由均方误差损失、边缘损失和鲁棒性损失函数相结合的损失函数,可以更好地保留细节特征.实验表明,该算法与其他去雾算法相比在峰值信噪比和结构相似度指标上得到一定的提高,去雾图像在主观视觉上取得了较好表现.     

一种基于DCWPSO算法与FFD模型的心脏CT序列图像配准算法

为实现心脏CT图像不同序列间的自动配准,提出了综合动态调整惯性因子权重的粒子群算法(DCWPSO)和自由形变(FFD)模型的非刚体医学图像配准方法.在对比常用的单纯形算法和模拟退火(SA)算法的基础上,采用动态调整惯性因子权重的自适应粒子群算法求解全局配准参数,克服了基于梯度的优化方法耗费时间长的缺点.在全局配准的基础上以FFD模型的形式应用层次B样条进行非刚性局部配准,利用B样条层次加细策略提高了配准的精度.实验结果表明,所提方法能够得到更好的配准结果.     

基于统计形变模型的多模医学图像非刚性配准方法研究

多模医学图像间可能存在复杂的非刚性形变,矫正这类形变需要采用具有较高自由度的非线性变换模型.直接求解非线性变换的高维参数,不仅会增加配准时间,而且也影响配准精度.为此,本文提出一种基于统计形变模型的配准算法,该算法利用统计形变模型对大量多模图像间的非刚性形变进行统计学习,利用由此建立的模型大幅减少变换模型的参数,达到提高图像配准效率和精度的目的.大量的实验结果表明：与基于传统自由形变模型的配准算法相比,本文提出的基于统计形变模型的配准算法其效率可以提高52%,同时目标配准误差平均减少0.503 2个像素.