基于随机化融合和CNN的多模态肺部肿瘤图像识别

在多模态医学图像背景下,针对单模态图像识别存在目标模糊、边界不清等问题,提出一种基于随机化特征融合的卷积神经网络(Convolutional Neural Network,CNN)目标识别方法.首先使用参数迁移法构造卷积神经网络模型,利用自建的多模态医学图像数据库对CNN模型进行微调;然后,分别用CT(Computed Tomography),PET(Positron Emission Computed Tomography)和PET/CT三个模态的数据并行地训练网络,并提取全连接层的特征向量;其次,构造随机函数,将三个模态的全连接层数据进行随机化融合;最后,通过另一个全连接层和分类器对融合后的特征进行分类识别.通过批次大小、迭代次数和网络层数三个角度验证该方法的有效性,实验结果表明,随机化融合效果优于单模态CNN,且特异性和灵敏度也较高,因此该方法对临床肺部肿瘤识别具有良好的适应性.