一种基于特征级融合的多模态生物特征识别方法

生物特征识别是信息技术领域的研究热点,其中多模态生物识别技术凭借更好的适用性、更高的安全性及更优的性能成为发展趋势。提出了一种融合虹膜特征和掌纹特征的多模态生物特征识别方法,该方法分别提取虹膜及掌纹特征,融合时不同于传统的匹配级融合,而是从特征级融合入手,采用并行特征融合策略,将两特征向量以复向量的形式进行融合,构成复向量空间,并利用酉距离进行匹配决策。实验结果表明此方法比单模生物特征方法在识别性能上有了明显改善,同时与传统匹配级融合策略相比,更有优势,识别效果更好。     

基于注意力模型的多模态特征融合雷达知识推荐

为了能够在数量庞大的雷达技术资料中快速准确地找到科研人员感兴趣的雷达知识信息并进行推荐,提出了一种基于注意力模型的多模态特征融合雷达知识推荐方法,学习高层次的雷达知识的多模态融合特征表示,进而实现雷达知识推荐.该方法主要包括数据预处理、多模态特征提取、多模态特征融合和雷达知识推荐4个阶段.实验结果表明:与只利用单一模态特征以及简单串联多模态特征的方法相比,利用文中方法学习到的多模态融合特征进行雷达知识推荐,推荐结果的准确率、召回率和综合评价指标(F1值)均有显著提高,表明提出的基于注意力模型的多模态特征融合方法对于知识推荐任务更加有效,体现了算法的优越性.     

基于注意力机制多特征融合的虚假信息检测

在虚假信息识别任务中,面对图文结合的虚假内容,基于单模态的模型难以进行准确识别.社交媒体中的虚假信息为吸引关注和迅速传播的目的,会使用夸张的词汇煽动读者的情绪.如何将情感特征引入多模态虚假信息检测模型进行多特征融合,并准确地识别虚假信息是一个挑战.为此,本文提出了基于注意力机制多特征融合的虚假信息检测方法(att-MFNN).该模型中先将文本特征和情感特征基于注意力机制融合,再与视觉特征组成多模态特征送入虚假信息识别器和事件分类器中.通过引入事件分类器学习不同事件中的共同特征,提高新事件的识别性能.att-MFNN在微博和推特(Twitter)数据集的准确率达到了89.22%和87.51%,并且F₁、准确率、召回率指标均优于现有的模型.     

基于SVM与多振动信息融合的齿轮故障诊断

针对齿轮振动信号故障特征微弱以及单个传感器故障诊断可靠性与准确性低等问题,采用多传感器信息融合方法,利用支持向量机(SVM)对8路齿轮振动信号进行特征级融合,实现故障诊断.研究结果表明:基于多个传感器单个特征量信息融合的齿轮故障诊断率比常规的基于单个传感的多个特征量的诊断准确率更高,诊断结果更可靠;峰值因子对齿轮故障最敏感,以峰值因子为特征量的多传感器信息融合,诊断准确率达93.33%.     

改进特征选择的光伏功率预测融合算法

为提高电站光伏功率预测准确率,该文提出了改进特征选择的融合预测模型。首先耦合包裹式和过滤式方法筛选特征参数;然后根据气象特征分类构建XGBoost、LightGBM和MLP的单一模型;最后使用双隐藏层多层感知器（MLP）构建融合模型进行预测。实验结果表明,通过改进特征选择以及使用对非线性描述能力更佳的MLP融合算法,融合预测模型相比单一模型具有更高的预测准确率以及更强的泛化能力,可较好地满足短期光伏功率预测的需求。     

多源遥感影像数据融合的理论与技术

目的 探讨多源遥感影像数据融合技术,包括融合概念、融合原理、融合算法、融合效果评价。方法 对于不同空间分辨率、时间分辨率和波谱分辨率的遥感图像进行综合分析,提出像素级、特征级、决策级遥感影像融合的方法及用信息论的理论建立融合影像评价系统。结果 信息融合可分为3个层次：像素级、特征级和决策级融合;像素级融合信息损失最小,决策级融合信息损失最大;像素级融合精度最高,决策级融合精度最低。结论 对同一地区的多源遥感影像数据进行融合,可以产生比单一信息源更准确、更完全、更可靠的估计和判断,可以提高影像的空间分辨率和清晰度,有效提高遥感影像数据的利用率等。     

指纹与指静脉双模态识别决策级融合方法

针对单模态生物特征识别系统固有的缺点,提出一种新的指纹与指静脉识别的决策级融合方法.首先对指纹及指静脉2种模态分别进行第一级分类器设计,得出各自的识别结果;然后将提取出的指纹与指静脉特征点集以特征串联的方式形成新的特征矢量,构成第二级分类器,再得出一个识别结果;最后将上述3个识别结果进行决策级融合得到系统最终的识别结果.实验结果表明本方法克服了单一模态识别方法的局限性,有效地提高了系统的性能.     

改进的BP算法在多传感器数据融合中的应用

采用了基于小波神经网络的BP权值平衡改进算法,构造小波神经网络并训练以改变BP网络权值.根据多传感器特征级数据融合模型,并结合该权值平衡算法,使测量到的数据进行基于特征级的融合,并将该数据融合结果提供给决策级判断,从而得出理想的判定效果.仿真结果表明,该数据融合算法避免了BP权值平衡算法的缺点,不仅提高了学习的速度,而且具有更高的计算精度.     

基于多信息融合的GIS局部放电类型识别方法研究

为了实现气体绝缘开关(gas insulated switchgear, GIS)局部放电故障类型的识别,利用GIS局部放电试验采集的特高频(ultra-high frequency, UHF)和超声波信号得到了局部放电相位解析(phase resolved partial discharge, PRPD)图和格拉姆角场(Gramian angular field, GAF)图,提出了基于自适应卷积神经网络的GIS局部放电类型识别算法,优化了卷积神经网络(convolutional neural network, CNN)超参数,建立了基于决策级多信息融合的GIS局部放电类型识别模型框架,研究了不同GIS局部放电类型识别方法的准确性及内在影响因素。结果表明：基于超高频和超声波信号的决策级多信息融合方法能够进一步提高GIS局部放电类型的识别准确性,识别准确率在98%以上,提出的决策级多信息融合方法的识别准确率高于特征级多信息融合方法,研究成果可为GIS局部放电类型识别提供技术支撑。     

基于多模态融合技术的用户画像方法

针对当前用户画像工作中各模态信息不能被充分利用的问题, 提出一种跨模态学习思想, 设计一种基于多模态融合的用户画像模型。首先利用 Stacking集成方法, 融合多种跨模态学习联合表示网络, 对相应的模型组合进行学习, 然后引入注意力机制, 使得模型能够学习不同模态的表示对预测结果的贡献差异性。改进后的模型具有精心设计的网络结构和目标函数, 能够生成一个由特征级融合和决策级融合组成的联合特征表示, 从而可以合并不同模态的相关特征。在真实数据集上的实验结果表明, 所提模型优于当前最好的基线方法。     

激光雷达和相机的决策级融合目标检测方法

【目的】激光雷达与相机这两类传感器检测数据格式不统一、分辨率不同,且数据级和特征级的融合计算复杂度高,故提出一种决策级的目标融合检测方法。【方法】对激光雷达与相机的安装位置进行联合标定,实现这两类传感器检测结果的坐标系转换;利用匈牙利算法将激光雷达点云检测目标框和相机图像检测目标框进行匹配,设定目标框重合面积阈值,检测获得目标物的位置、类型等。【结果】实车测试结果表明,根据检测目标检测框长宽比选取不同交并比阈值的方法使得车辆和行人的目标识别准确率分别提升了3.3%和5.3%。利用公开数据集KITTI对所提融合方法进行验证,结果表明,在3种不同难度等级场景下,所提融合方法的检测精度分别达到了75.42%、69.71%、63.71%,与现有常用的融合方法相比,检测精度均有所提升。【结论】这两类传感器的检测目标框重合面积阈值对决策级融合检测结果影响较大,根据检测目标检测框长宽比选取不同阈值可有效提升车辆和行人的目标识别准确率。决策级融合方法能准确匹配雷达和相机的检测目标,有效提升目标检测精度。     

基于TDFFCNN模型的电能质量扰动分类

为提高电能质量扰动(power quality disturbances,简称PQD)分类准确率，提出双模态特征融合的卷积神经网络(two-dimensional feature fusion convolutional neural network,简称TDFFCNN)模型，该模型包含2个轻量化子模型.子模型1运用全局最大池化，在大量降低数据量的同时学习电能质量扰动(power quality disturbances,简称PQD)时间序列的时序特征，以增加模型提取时序特征的能力；子模型2使用小卷积核与小步长为参数的堆叠单元提取图像振幅特征，对高中低层特征进行融合，以获得细节与结构性语义.实验结果表明：TDFFCNN模型具有较强的抗噪性能；相对于其他3种模型，TDFFCNN模型的平均准确率最高.因此，TDFFCNN模型具有更强分类性能.     

国产HJ小卫星遥感影像多特征融合用于日本海啸灾情快速监测

 针对特大地震和海啸灾害的特点与灾情监测的需求,设计和构建了一种基于多特征决策级融合的灾情快速变化检测方法,首先利用遥感影像中提取的NDVI、主成分变换分量、独立成分变换分量等特征分别提取变化信息,然后对多种变化信息进行决策级融合,获得具有更高可靠性的变化图,用于灾情分析。将所设计的方法用于国产环境与灾害监测预报小卫星HJ-1A/B数据处理分析,对日本东部沿海区域海啸灾害前后进行变化检测与灾情信息提取试验,有效地检测了海啸灾害后的海水倒灌区域、陆地积水区、植被淹没区以及建筑受损区等变化区域。研究表明,基于多源特征融合的非监督变化检测流程可以快速、有效地提取海啸受灾区域,为灾害应急响应与灾情评估提供支持。     

基于文本指导的层级自适应融合的多模态情感分析

提出了一种基于文本模态指导的多模态层级自适应融合方法,以文本模态信息为指导实现多模态信息的层级自适应筛选及融合。首先,基于跨模态注意力机制实现两两模态之间的重要性信息表征;然后通过多模态自适应门控机制实现基于多模态重要信息的层级自适应融合;最后综合多模态特征和模态重要性信息实现多模态情感分析。在公共数据集MOSI和MOSEI上的实验结果表明：对比基线模型,本文所提方法在准确率与F₁值方面分别提升了0.76%和0.7%。     

基于威胁博弈理论的决策级融合模型

针对多传感器信息融合系统中普遍存在的冲突信息环境下的融合系统决策问题,提出了一种新的基于威胁博弈的决策级信息融合模型·该模型将冲突环境下的融合过程视为局部决策空间、策略空间和全局决策空间上的变换过程,并以此构建融合中心的一种结构模型·在融合算法的研究中,以威胁博弈的算法实现融合中心的多传感器交互决策·在应用中将该模型用于丰满水电仿真系统调速器PID模型的参数在线调整·经现场应用表明,该模型可以有效地解决原PID模型参数整定困难而导致的系统转速和频率振荡等问题·     

基于语音音素后验概率图关键特征提取的中文方言识别模型

不同方言对相同字的发音往往有所不同，因此不同方言所包含音素的概率分布存在较大差异，这是方言差异性的重要体现。为了充分利用这一差异性，提出了基于音素后验概率图分析的方言识别模型，该模型引入Convolutional Block Attention Module(CBAM)的提取音素后验概率图关键特征，并利用Emphasized Channel Attention-Propagation and Aggregation in TDNN(ECAPA-TDNN)模型对其进行聚合和注意力池化得到句子级特征。为进一步提升类间距离，引入了Additive Angular Margin(AAM)损失。实验结果表明，该模型取得了比传统模型更高的分类准确率，并且以上改进均对准确率提升有所贡献。     

灰色关联和证据理论在故障识别中的应用和改进

针对复杂检测环境下传感器获得的特征信息具有不确定性和模糊性等问题,提出了利用熵权灰色关联算法获得基本可信度赋值函数(BPAF).根据基于证据理论的信息融合方法,设计了单传感器多量测周期时域融合和多传感器空域融合的二级证据融合算法,采用基于可信度的判决方法作为故障检测和识别依据.熵权方法解决了灰色关联算法中特征权重的选取问题,二级证据融合算法提高复杂环境下识别结果的准确率.仿真结果表明,这种方法比一般的故障识别算法具有更高的识别率、更强的鲁棒性和更广的适用性,是复杂环境下故障模式识别的一种正确可行的新方法.     

基于Stacking特征增强多粒度联级Logistic的个人信用评估

主要针对广受关注的P2P网贷信用评估问题，利用机器学习方法提高申请人网贷违约预测准确率，研究出基于Stacking特征增强多粒度联级Logistic方法及其应用.所提分类器是一种混合模型，结合了Stacking集成学习和联级Logistic学习的思想.首先，通过网格搜索技术分别建立XGBoost, Catboost, LightGBM,AdaBoost以及Gradient Boosting模型，并筛选出适合的基评估器作为Stacking集成的初级学习器，logistic模型作为次级学习器，构建基于Stacking的多粒度扫描器，生成预测结果作为元特征，拼接成新特征数据.其次，通过新特征数据以及元特征在每级Logistic上的特征增强建立联级Logistic Regression模型，并且与现有的单一集成学习器和各基评估器在3个不同的P2P网贷信用评估数据集上进行对比.实验结果表明，通过AUC、准确率等指标对其进行评价，相比于各基评估器以及其他单一集成分类器，基于Stacking增强多粒度联级Logistic模型有较高的准确率，预测效果更优.     

基于自注意力机制的多模态场景分类

针对真实环境场景会同时出现多种事件导致场景分类准确率受到干扰信息影响的问题，本文提出了一种基于自注意力机制的多模态场景分类方法。首先，对音频进行特征提取并使用自注意力机制获得关注信息；然后，对视频进行分帧图片抽取，通过ResNet 50对图片特征进行提取；最后，将两个模态的特征进行拼接并再次使用自注意力机制对特征信息进行抓取分类。基于DCASE2021 Challenge Task 1B数据集的实验结果表明，与其基线系统、双模态信息简单拼接、视频辅助音频和音频辅助视频的分类系统相比，基于自注意力机制的多模态场景分类系统的准确率优于单模态互相辅助决策的场景分类系统。     

基于卷积神经网络的多光谱掌纹识别技术

在多光谱掌纹图像采集设备研发的基础上,提出一种基于卷积神经网络的多光谱掌纹识别方法.该方法使用ResNet-18网络对掌纹图像进行特征提取,应用特征级融合方法并将融合后的特征送入SVM分类器中进行决策.实验结果表明,所提出的多光谱掌纹识别方法可以有效提升掌纹图像特征判别效率,相比于单光谱方法和传统的神经网络算法具有更高...