Minkowski广义距离与多模态图像配准

根据图像灰度的联合概率分布函数与图像相似程度之间的变化规律,分析了Shannon互信息与Kullback-Leibler距离之间的关系,利用变量间的不等式关系理论,提出基于Minkowski不等式的广义距离度量,并构造了基于这一距离的多模态图像配准新测度.新的配准测度不再要求概率分布必须满足连续性的要求,实验中使用MR和PET医学图像进行了实验分析.结果显示,基于Minkowski距离的新配准测度比传统的信息论测度具有更强的噪声鲁棒性,用乘方运算代替了对数运算,数学表达式更简单,并省去了除法运算,在算法上也更容易实现.     

大词汇量环境噪声下的多模态视听语音识别方法

视听语音识别(Audio-Visual Speech Recognition,AVSR)技术利用唇读和语音识别(Audio-Visual Speech Recognition,AVSR)的关联性和互补性可有效提高字符识别准确率。针对唇读的识别率远低于语音识别、语音信号易受噪声破坏、现有的视听语音识别方法在大词汇量环境噪声中的识别率大幅降低等问题,本文提出一种多模态视听语音识别(Multi-modality Audio-Visual Speech Recognition,MAVSR)方法。该方法基于自注意力机制构建双流前端编码模型,引入模态控制器解决环境噪声下音频模态占据主导地位而导致的各模态识别性能不均衡问题,提高识别稳定性与鲁棒性,构建基于一维卷积的多模态特征融合网络,解决音视频数据异构问题,提升音视频模态间的关联性与互补性。与现有主流方法对比,在仅音频、仅视频、音视频融合3种任务下,该方法的识别准确率提升7.58%以上。     

引入图像信息的多模态复述生成模型

在商品描述、新闻评论等多模态场景下, 已有复述生成模型只能围绕文本信息生成复述。为了解决其因无法利用图像信息而导致的语义丢失问题, 提出多模态复述生成模型(multi-modality paraphrase generation model, MPG)来引入图像信息, 并用其生成复述。在MPG中, 为了引入与原句对应的图像信息, 首先根据原句构建抽象场景图, 并将与原句相关联的图像区域特征转换为场景图的结点特征。进一步地, 为了利用构建好的场景图来生成语义一致的复述句, 使用关系图卷积神经网络和基于图的注意力机制对图结点特征进行编码和解码。在评测阶段, 提出句对相似度计算方法, 从MSCOCO数据集中筛选出描述图像中相同物体的句对, 并将其作为复述测试集进行评测。实验结果显示, 所提出的MPG模型生成的复述拥有更好的语义忠实度, 表明在多模态场景下图像信息的引入对提高复述生成质量的有效性。     

基于Tamura纹理特征提取和SVM的多模态脑肿瘤MR图像分割

在Tamura纹理特征和支持向量机(SVM)算法基础上提出一种多模态脑肿瘤图像分割算法.将4种模态下的多序列核磁共振图像(MRI)的局部灰度特征与Tamura纹理度量相结合,尽可能提取足够多的图像信息;在SVM模型中输入已知样本并进行训练;用训练好的SVM模型处理其他脑肿瘤图像.实验通过对20例患者的图像进行展开,从实验数据来看,提出的方法可以精准有效地分割出脑肿瘤区域,得到脑肿瘤的边界,并且对脑肿瘤图像的差异性表现出较强的自适应能力.     

像素级多模式医学图像融合研究

采用小波变换算法,对颅脑计算机断层成像(CT)与核磁共振成像(MRI)的图像进行融合.将两幅源图像分别进行小波分解,然后取两幅图像小波系数矩阵对应元素的最大绝对值构造小波系数矩阵,进而重构融合图像.结果表明,融合生成的图像中软组织和骨骼均十分清晰,能提供反映原始图像中更为全面的、互为补充的多重信息,对颅脑病变的定性、定位研究有实用意义,从而具有重要的临床应用价值.     

基于IMDS-DLNS方法的工业过程故障检测

针对多维尺度变换(multidimensional scaling,MDS)方法对高维数据进行维数约简时,新样本缺少映射矩阵无法进行低维嵌入的问题,提出了增量式多维尺度变换(incremental multidimensional scaling,IMDS)方法。首先,引入双重局部近邻标准化(dual local nearest neighbor standardization,DLNS）技术以解决IMDS方法降维后数据仍然具有多中心、方差差异明显等问题;其次,采用Hotelling T²统计量对过程进行监控,组成增量式多维尺度变换和双重局部近邻标准化的故障检测方法(IMDS-DLNS);最后,通过数值模拟过程和青霉素发酵过程,将IMDS-DLNS方法分别与PCA,KPCA和FD-KNN等方法作对比分析。结果表明,IMDS-DLNS对比其他方法有更高的故障检测率。IMDS-DLNS方法对多变量、多模态过程具有良好的故障检测能力,能够保障产品质量和生产的安全性,可为工业过程故障检测研究提供参考。