增强典型相关分析及其在多模态生物特征识别特征层融合中的应用

提出了增强典型相关分析(ECCA)的概念,并将ECCA用于多模态生物特征的特征层融合.ECCA不仅保持了CCA的本质特征,而且利用了类别信息,能够找到两个特征空间对分类更有意义的投影方向.开集测试表明,ECCA用于特征层融合时,可以获得比广义典型相关分析、串行融合、并行融合特征层融合算法和加法规则、乘法规则等分数层融合算法更好的性能.     

基于双层特征融合的生物识别

多模态生物识别可以弥补单模态生物识别存在的缺陷,已成为目前生物识别研究的主流趋势.现有的多模态生物识别大都使用传统的机器学习方法,而以深度学习为代表的新一代人工智能方法在该领域的应用研究相对较少.因此,提出了一种端到端、可训练的卷积神经网络(Convolutional Neural Network,CNN)模型用于多模态生物特征识别,并从单模态和多模态两方面研究模型结构和融合方式对识别性能的影响.在单模态识别中,研究不同网络层数和卷积核对识别性能的影响,并利用单模态识别的结果确定多模态识别的网络结构;在多模态识别中,为研究不同阶段特征融合对识别性能的影响,设计了两种不同的CNN结构;基于3种不同的融合方法,探索单层特征融合和双层特征融合机制对识别性能的影响,并通过组合优化给出一种最优的深度模型结构.为了评估本文方法的性能,分别在AR、Yale、Extended YaleB、LFW、PolyU和CASIA V1.0等6个标准数据库上进行验证.试验结果表明,基于CNN的单模态识别方法优于传统机器学习方法,本文提出的方法能够胜任单模态或多模态生物识别任务.     

基于人脸和人耳的多模态生物特征识别

单一模式生物特征识别系统由于存在一些固有的局限性,有时难以满足实际应用的需求,本文提出了基于正面人脸和人耳信息融合的多模态生物特征识别方法.针对USTB人耳图像库和ORL人脸图像库,利用核Fisher鉴别分析方法分别进行了人耳识别、人脸识别和人脸人耳融合识别,融合策略包括图像层融合和特征层融合两种.识别结果表明基于人脸人耳信息融合的多模态识别的识别率优于单体的人耳或人脸识别.这说明融合多种生物特征的多模态识别可以提高身份认证的准确率,也为实现非打扰式识别提供了一种新的途径.     

基于广义典型相关分析融合和鲁棒概率协同表示的人脸指纹多模态识别

针对单模态生物特征识别容易受自身条件和环境变化的影响,鉴于人脸识别和指纹识别已经在生物识别系统中得到了广泛应用,提出了二者特征信息融合的多模态生物特征识别方法。该方法首先对人脸、指纹图像进行预处理,并对这两种模态均提取LBP和Gabor特征,然后将广义典型相关分析方法分别引入到人脸多特征融合和指纹多特征融合中,应用分块对角矩阵组合上述融合的人脸特征和指纹特征,最后用鲁棒概率协同表示分类器进行分类。在两个多模态数据库上的实验结果表明:与人脸或指纹单模态生物特征识别相比,基于人脸指纹的多模态生物特征识别具有更高的识别率和更好的稳定性;所提出的基于广义典型相关分析的特征融合方法优于传统的融合方法。     

基于注意力模型的多模态特征融合雷达知识推荐

为了能够在数量庞大的雷达技术资料中快速准确地找到科研人员感兴趣的雷达知识信息并进行推荐,提出了一种基于注意力模型的多模态特征融合雷达知识推荐方法,学习高层次的雷达知识的多模态融合特征表示,进而实现雷达知识推荐.该方法主要包括数据预处理、多模态特征提取、多模态特征融合和雷达知识推荐4个阶段.实验结果表明:与只利用单一模态特征以及简单串联多模态特征的方法相比,利用文中方法学习到的多模态融合特征进行雷达知识推荐,推荐结果的准确率、召回率和综合评价指标(F1值)均有显著提高,表明提出的基于注意力模型的多模态特征融合方法对于知识推荐任务更加有效,体现了算法的优越性.     

基于因果模型和多模态多目标优化的两阶段特征选择方法

特征选择中特征数量和分类精度之间的关系通常可以看作是一个多模态多目标优化问题,但现有大多数多模态多目标进化算法对于高维优化问题的求解存在搜索能力不足的问题。为解决该问题,提出一种基于因果模型和多模态多目标进化算法的两阶段特征选择方法。在该方法中,首先使用因果模型对数据进行特征选择以便降低问题维度;然后使用多模态多目标优化算法搜索具有多模态特性的特征子集。为验证所提算法性能,它被用于术中低体温风险预测模型的特征选择问题。实验结果表明,提出的两阶段特征选择方法不仅融合了2种不同方法的优点,而且能为术中低体温预测提供更多决策支持。     

基于数据融合的不平衡连续手术动作分割识别

为解决样本分布不均衡的连续动作序列分割识别精度不高的问题,提出一种基于深度学习的新型连续动作分割与识别模型,该模型能够从多维时间序列中提取更丰富全面的动作特征。使用基于双向长短时记忆网络(bidirectional long short-term memory networks, Bi-LSTM)的特征提取单元提取数据特征,利用基于注意力机制的特征融合模块融合多种模态的特征,并利用全连接层构建的解码器完成最终分类。实验中使用多种传感器采集了眼科手术中连续环形撕囊操作的连续动作多模态数据对算法进行验证实验。实验结果显示,与使用长短时记忆网络(LSTM)和门控循环单元(gated recurrent unit, GRU)的数据层融合算法以及4种特征层融合策略相比,所提出的模型具有更好的性能。对于数据量最小的动作类别,该算法的识别精度提高了14%以上,全局F₁分数提升8%以上,整体识别准确度达到90.72%。这些结果表明,该模型能够有效解决样本分布不均衡的连续动作序列分割识别精度问题,并为多模态连续动作分割与样本不均衡问题的解决提供了新的思路和方法。     

量化层多生物特征融合的最佳权值

该文对多生物特征融合中的量化层融合进行了研究,给出了能使识别系统性能提高的最佳权值方案.论文首先提出了一种便于对融合策略进行研究的量化值归一化模型.然后针对3个与生物特征识别性能有关的参数,错误接受率FAR、错误拒绝率FRR和等错率EER, 分别进行讨论,推导出使它们降到最小时的权值条件.最后以掌纹特征为例,进行多生物特征融合实验.结果表明了量化层融合能有效提高系统识别性能.     

陶瓷涂层材料多模态数据表征学习

陶瓷涂层具有耐高温、耐腐蚀、耐磨损等特性, 其热膨胀系数和热导率等参数与其性能息息相关. 为解决陶瓷涂层性能实验成本高、测试困难等问题, 提出了陶瓷涂层材料多模态数据表征学习的性能预测方法. 首先利用高斯混合模型虚拟样本生成(Gaussian mixture model virtual sample generation, GMMVSG)算法生成符合真实陶瓷涂层数据分布的样本来扩充数据集; 其次利用卷积神经网络 VGG16 对陶瓷涂层的显微结构图像数据进行特征提取, 利用 TabNet 对结构化数据进行特征提取, 将提取到的图像数据特征与结构化数据特征融合; 最终根据多模态数据表征建立基于K-最近邻(K-nearest neighbor, KNN)、支持向量机回归(support vector regression, SVR)和多层感知机(multi-layer perceptron, MLP) 3 种机器学习算法的预测模型, 对陶瓷涂层的性能指标, 即热膨胀系数和热导率进行了预测. 实验结果表明: 提出的多模态数据表征学习模型的预测结果要优于单模态数据表征学习模型, 其中基于 MLP 算法训练的多模态数据表征学习模型对陶瓷涂层性能的预测效果最好; 在测试集中, 对陶瓷涂层热膨胀系数预测的平均绝对误差(mean absolute error, MAE)和均方误差(mean square error, MSE)分别为 0.026 6 和 0.001 7, 对热导率预测的 MAE 和 MSE 分别为 0.017 9 和 0.000 7. 所提出的陶瓷涂层材料多模态数据表征学习方法有效融合了结构化数据与非结构化数据, 联合学习了各模态数据的潜在共享信息, 成功提升了对陶瓷涂料层材料性能预测的准确度.     

基于语音信号与心电信号的多模态情感识别

通过采集与分析语音信号和心电信号,研究了相应的情感特征与融合算法.首先,通过噪声刺激和观看影视片段的方式分别诱发烦躁情感和喜悦情感,并采集了相应情感状态下的语音信号和心电信号.然后,提取韵律、音质特征和心率变异性特征分别作为语音信号和心电信号的情感特征.最后,利用加权融合和特征空间变换的方法分别对判决层和特征层进行融合,并比较了这2种融合算法在语音信号与心电信号融合情感识别中的性能.实验结果表明:在相同测试条件下,基于心电信号和基于语音信号的单模态情感分类器获得的平均识别率分别为71%和80%;通过特征层融合,多模态分类器的识别率则达到90%以上;特征层融合算法的平均识别率高于判决层融合算法.因此,依据语音信号、心电信号等不同来源的情感特征可以构建出可靠的情感识别系统.     

模上的Groebner基与切触有理插值

利用模上的Groebner基研究多元切触有理插值问题, 得到了多元有理函数a(X)/b(X)的参数化表示, 并给出一种构造多元切触有理插值算法. 当插值问题退化为Cauchy型有理插值问题时, 相应的算法即为多元有理插值的Newton型算法.     

一种基于特征级融合的多模态生物特征识别方法

生物特征识别是信息技术领域的研究热点,其中多模态生物识别技术凭借更好的适用性、更高的安全性及更优的性能成为发展趋势。提出了一种融合虹膜特征和掌纹特征的多模态生物特征识别方法,该方法分别提取虹膜及掌纹特征,融合时不同于传统的匹配级融合,而是从特征级融合入手,采用并行特征融合策略,将两特征向量以复向量的形式进行融合,构成复向量空间,并利用酉距离进行匹配决策。实验结果表明此方法比单模生物特征方法在识别性能上有了明显改善,同时与传统匹配级融合策略相比,更有优势,识别效果更好。     

基于潜在变量二元回归模型的多传感器数据融合

针对目前数据融合算法存在的置信度无法获取的问题,提出了一种基于潜在变量二元回归模型(LatentVariable Binary Regression Model)的多传感器数据融合算法。将每个传感器获取的特征值作为多变量回归模型中的相关变量,通过Gibbs抽样得到潜在变量的分布概率,确定多变量回归模型中的表征量作为融合结果,并以潜在变量的分布概率作为融合结果的置信度。基于实地采集的运动目标震动信号进行仿真实验,结果表明该融合方法拥有较好的识别效果,同时能够给出识别结果的置信度。其中错分类的结果具有较低的置信度,可以提醒观测者做进一步的观察。     

多元时间序列模式异常研究

为了提高多元时间序列模式异常检测算法的有效性和合理性,在k-近邻局部异常检测算法的基础上,结合基于主元分析的多元时间序列的降维方法,对多元时间序列模式异常进行检测.实验结果验证了该算法对多元时间序列模式异常检测的准确性和有效性.     

Software watermarking scheme based on multivariate public key cryptosystem

Software watermarking is an efficient tool to verify the copyright of software. Public key cryptosystem-based watermarking is widely researched. However, the popular public key cryptosystem is not secure under quantum algorithm. This paper proposes a novel software watermarking scheme based on multivariate public key cryptosystem. The copyright information generated by copyright holder is transformed into copyright numbers using multivariate quadratic polynomial equations inspired by multivariate public key cryptosystem (MPKC). Every polynomial is embedded into the host program independently. Based on the security performance of MPKC, the robustness and invisibility of the proposed scheme is significantly improved in comparison with the RSA-based watermarking method.     

基于混合模型的多搜索引擎融合

为提高组合检索系统的性能，提出一种基于混合模型的多搜索引擎融合方法．该方法利用高斯、指数密度函数分别描述相关、非相关文档的相关分值分布，用基于混合模型的算法规范化处理相关分值，估计非相关文档的相关分值，并进行分值合并．这样做既考虑到相关、非相关文档在分值分布上的差异，又考虑了用户对成员搜索引擎的性能评价．实验结果表明，利用该方法的平均查准率要比成员搜索引擎平均提高37．8％，也明显高于Sum-CombSUM、Sum-CombMNZ和Standard-CombSUM3种常用的融合方法。     

指纹与指静脉的特征层动态加权融合识别

结合指纹与指静脉两种生物特征的优点进行多模态特征识别,提出一种特征层动态加权融合匹配算法。在图像预处理的基础上分别提取两模式源的有效特征矢量,根据近邻消除和特殊区域保留原则对特征矢量进行降维;从待识别特征角度对特征点集的相对质量进行评价,根据对双模态特征优和差的分类引入动态加权策略,提高质量较好特征所占权重,削弱低质量及伪特征对识别结果的影响,实现了特征层特征自适应优化融合。在FVC2000公开指纹库和指静脉自建数据库上的测试取得了98.9%的识别率,较指纹、指静脉单模态识别分别提高了6.6%和9.6%,较匹配层加权平均融合识别提高了5.4%。     

煤灰熔融温度多项式模型的偏回归函数分析

为了考察煤灰中的化学组分对熔融特性温度的贡献，借助我国69种重要的商业用煤的灰熔融特性温度和灰中SiO2和Al2O3等6种主要化学组分的测试数据，利用多项式模型的偏回归函数分析方法，对煤灰的熔融特性温度进行一至四阶多项式模型回归分析，获得了各化学组分的偏回归函数。研究结果表明：各化学组分的偏回归函数能够表现熔融温度对应于该组分变化的趋势；同一组分偏回归函数不同，该组分对变形温度、软化温度和熔融温度的影响存在较大的差异；CaO和TiO2的偏回归函数反映熔融温度变化趋势的可信度最高。实验为进一步研究煤灰熔融特性温度的数学模型和参数选择提供参考。     

线性不等式约束下一类线性模型参数估计的渐近解及其收敛性

利用交替迭代算法, 研究在线性不等式约束下具有相同参数的两个线性模型在误差方差未知条件下的参数估计问题, 得到了其参数的最小二乘估计序列及其渐近解, 并利用多元多项式方程组解的个数定理和不动点定理, 证明了此估计序列是依概率1收敛的.