基于LSTM的舰船软件运行健康状态预测

针对舰船任务系统的复杂环境,综合考虑舰船软件自身性能、外在环境和运行工况等数据的影响,采用长短期记忆网络模型(LSTM)预测软件运行健康状态,并针对样本类别分布不均衡导致的预测效果不佳等问题,提出了一种加权焦点损失函数(WFL).实验结果表明:基于WFL与包含三个隐含层的LSTM模型(LSTM3-WFL)不仅比传统的机器学习算法能够更好地学习到特征在时间维度上的变化规律;而且相较于基于交叉熵损失函数的LSTM模型,该模型更容易学习到样本个数较少的类别信息,并最终在测试集上达到98.2%的准确率与0.947的宏平均F1-Socre值,在舰船软件运行健康状态的预测问题上有很高的应用价值.     

一种基于特征嵌入神经网络的中文分词方法

针对传统基于特征的中文分词模型中,参数相对于训练数据过多而难以准确估计特征权值这一问题,提出了一种基于特征嵌入的神经网络方法.嵌入方法将特征转化为低维实值向量,能有效降低特征维度.另外,为了增强模型的性能,给出了一种学习速率线性衰减方法.研究了正则项的方法来增强模型的泛化能力.实验表明:文中提出的模型可以提高中文分词问题的求解效率.     

基于Gaussian混合的距离度量学习数据划分方法

针对有限样本情况下,多次训练模型时容易出现不稳定和偏差问题,提出一种基于Gauss-ian混合的距离度量学习数据划分方法,通过更合理地划分数据集来解决该问题.距离度量学习依靠深度神经网络优异的特征提取能力,将原始数据提取的特征嵌入到新的度量空间中;然后,在该新的度量空间中基于深层次特征使用Gaussian混合模型进行聚...     

基于注意力LSTM和多任务学习的远场语音识别

由于背景噪声、混响以及人声干扰等因素,远场语音识别任务一直充满挑战性。该文针对远场语音识别任务,提出基于注意力机制和多任务学习框架的长短时记忆递归神经网络(long short-term memory,LSTM)声学模型。模型中嵌入的注意力机制使其自动学习调整对扩展上下文特征输入的关注度,显著提升了模型对远场语音的建模能力。为进一步提高模型的鲁棒性,引入多任务学习框架,使其联合预测声学状态和干净特征。AMI数据集上的实验结果表明:与基线模型相比,引入注意力机制和多任务学习框架的LSTM模型获得了1.5%的绝对词错误率下降。     

基于MAML方法的佤语孤立词分类

深度神经网络模型直接用于识别有限的佤语语音很容易陷入过拟合的窘境.而元学习善于解决小样本因数据不足导致的过拟合学习问题,利用平摊机制将以往经验应用于新任务学习能够有效减少对目标数据集的要求.选用原始的与模型无关的元学习(MAML)和近似一阶MAML梯度更新的Reptile对佤语语谱图进行识别研究.基于两组对比实验结果表明,元学习具有快速学习能力,并且能显著提高网络的收敛能力和泛化能力.在相同的实验设置条件下,MAML和Reptile对5-way 1-shot的实验准确率分别达到74.5%和61.6%,对5-way 5-shot的识别准确率分别达到94.5%和93.6%.     

陶瓷涂层材料多模态数据表征学习

陶瓷涂层具有耐高温、耐腐蚀、耐磨损等特性, 其热膨胀系数和热导率等参数与其性能息息相关. 为解决陶瓷涂层性能实验成本高、测试困难等问题, 提出了陶瓷涂层材料多模态数据表征学习的性能预测方法. 首先利用高斯混合模型虚拟样本生成(Gaussian mixture model virtual sample generation, GMMVSG)算法生成符合真实陶瓷涂层数据分布的样本来扩充数据集; 其次利用卷积神经网络 VGG16 对陶瓷涂层的显微结构图像数据进行特征提取, 利用 TabNet 对结构化数据进行特征提取, 将提取到的图像数据特征与结构化数据特征融合; 最终根据多模态数据表征建立基于K-最近邻(K-nearest neighbor, KNN)、支持向量机回归(support vector regression, SVR)和多层感知机(multi-layer perceptron, MLP) 3 种机器学习算法的预测模型, 对陶瓷涂层的性能指标, 即热膨胀系数和热导率进行了预测. 实验结果表明: 提出的多模态数据表征学习模型的预测结果要优于单模态数据表征学习模型, 其中基于 MLP 算法训练的多模态数据表征学习模型对陶瓷涂层性能的预测效果最好; 在测试集中, 对陶瓷涂层热膨胀系数预测的平均绝对误差(mean absolute error, MAE)和均方误差(mean square error, MSE)分别为 0.026 6 和 0.001 7, 对热导率预测的 MAE 和 MSE 分别为 0.017 9 和 0.000 7. 所提出的陶瓷涂层材料多模态数据表征学习方法有效融合了结构化数据与非结构化数据, 联合学习了各模态数据的潜在共享信息, 成功提升了对陶瓷涂料层材料性能预测的准确度.     

Prefix-LSDPM：面向小样本的在线学习会话退出预测模型

在线学习会话退出预测旨在准确预测在线学习过程中的学习会话退出，是智慧教育领域中十分重要的一项研究任务。针对现有模型在小样本场景下预测准确率较低的问题，提出了基于前缀提示的在线学习会话退出预测模型Prefix-LSDPM。该模型为获取单个学习行为内部特征及连续学习行为之间的隐含关联信息，在改进了键值向量的Transformer网络中对提示形式的合成序列进行掩码学习；为降低模型训练涉及的参数量以适应小样本学习，将学习会话退出预测任务建模形式靠近预训练任务，并在冻结的预训练参数基础上对提示参数进行调优。基于多个数据集的实验结果表明，Prefix-LSDPM的预测准确率优于现有模型，且在小样本学习中仍能达到较好的预测效果。     

基于数据增强的小样本图像分类方法

小样本图像分类训练样本过少,若直接用深度学习的方法对其处理会出现过拟合现象,且存在训练好的模型不能很好的泛化到测试任务上等问题.针对以上问题,提出一种基于数据增强的算法去缓解模型过拟合,并结合深度学习网络wide-ResNet28来提升模型的分类性能.此方法没有引用外部数据对当前任务进行数据扩充,而是借助基类数据的语义先验信息对新类数据的特征进行补充,在形成新的特征分布上进行数据增强.该方法在MiniImageNet和Cub 2个小样本数据集上进行实验,图像特征提取的精确度分别达到83.46%、91.61%,验证了该方法的有效性.     

半监督局部线性嵌入算法在人脸识别中的应用

提高人脸识别算法的识别率,提出一种基于半监督局部线性嵌入(Semi-Supervised Locally Linear Embedding,SSLLE)的人脸图像识别方法。针对局部线性嵌入(Locally Linear Embedding,LLE)算法非监督学习的缺陷,引入半监督思想,在构造邻域的时候利用部分样本的标签信息来重新调整距离矩阵;使用调整后的距离矩阵进行线性重建从而实现数据降维。在Yale和ORL人脸库上的实验结果表明,能有效的提高人脸识别的性能。     

一种新的支持向量机树学习模型

针对特征空间维数较高时,混淆交叉支持向量机树中间节点的学习结果可能包含冗余特征信息的情况,考虑各维特征之间的相互关系以及各数据点之间的相互关系对数据的分类影响,提出一种基于有监督局部线性嵌入的支持向量机树学习模型.考虑每个中间节点上需要不同的特征信息进行局部决策,分别对每个中间节点(包括根节点)上的样例进行有监督局部线性嵌入学习.实验以手写阿拉伯数字识别问题为例验证和分析了模型的结构和分类识别性能,与其他学习模型的对比结果表明,该模型能在有监督局部线性嵌入学习的基础上,以更精简的结构获得与其他学习模型可比的识别精确率.     

基于评论特征提取和隐因子模型的评分预测推荐系统

评分预测是推荐系统研究的核心问题,通过用户的历史行为来预测用户对商品的评分,根据评分高低来推荐用户喜欢的商品.当前基于评论评分预测推荐系统普遍只使用卷积神经网络捕获局部特征或者循环神经网络捕获全局特征,忽略了将这两类特征的有效融合.针对现存问题,本文提出基于评论特征提取和隐因子模型的评分预测推荐模型,使用自适应感受野的卷积神经网络(CNN)提取局部特征,同时使用门控循环单元(GRU)提取全局特征,将不同特征融合为评论的嵌入表达.再结合隐因子模型(LFM)对用户的特征偏好和商品的特征属性进行建模.最后,通过对用户和商品的嵌入表达进行评分预测.实验结果表明,本文模型在5个数据集上均高于现有基线模型.     

基于强化学习的特征选择方法及材料学应用

随着大数据、人工智能以及高性能计算的快速发展, 数据驱动的新材料研发成为研究热点. 在对材料数据进行数据挖掘的过程中, 需要对特征集合进行预处理, 通过减少无关冗余特征, 不仅可以避免模型过拟合, 还能提高模型的可解释性. 基于此, 提出了一种基于强化学习的特征选择(feature selection based on reinforcement learning, FSRL) 算法, 将封装式特征选择抽象成机器学习模型和"环境"互动的过程, 并根据利益最大化准则将对应特征加入特征子集中. 同时, 为了提高模型的预测精度, 还提出一种基于符号变换的特征构造方法来生成新的特征. 最后, 将所提出方法应用到非晶合金材料的分类预测任务和铝基复合材料的回归任务中. 实验结果表明, FSRL 算法的分类准确率最高提升了 2.8%, 而在回归任务中, 基于特征构造的 FSRL 算法使得预测精度最高提升了 22.9%.     

具有局部和全局注意力机制的图注意力网络学习单样本组学数据表征

针对生物组学数据中基因数目远大于样本数目的高维“大p小n”问题,提出一种具有局部和全局注意力机制的图注意力网络GATOr.该模型首先在组学数据上利用Pearson相关系数计算特征之间的相关性,构建组学数据的单样本网络;然后提出一种结合局部和全局注意力机制的图注意力网络从单样本网络中学习基于图的组学特征表示,从而将组学数据的高维特性转化为低维表示.实验结果表明,GATOr与其他传统分类算法相比,在分类任务的准确率及其他指标上均取得了较优性能.     

集成特征选择方法在基因表达数据上的应用

基因表达数据的研究是生物医学上的一个重要课题。基于其高维度、小样本的特点,特征选择已经成为数据预处理阶段的关键步骤。单一特征选择方法得到的特征子集可能会有偏差,本研究在特征选择上引入集成学习的思想,构建集成特征选择模型,并将此模型应用到3个不同的基因表达数据集上。为了评价特征子集的分类预测性能,使用支持向量机作为分类器进行测试。实验结果表明:相对于单一的特征选择方法,集成特征选择能够有效提高分类模型准确度。     

基于特征空间嵌入的对比知识蒸馏算法

因能有效地压缩卷积神经网络模型,知识蒸馏在深度学习领域备受关注。然而,经典知识蒸馏算法在进行知识迁移时,只利用了单个样本的信息,忽略了样本间关系的重要性,算法性能欠佳。为了提高知识蒸馏算法知识迁移的效率和性能,文中提出了一种基于特征空间嵌入的对比知识蒸馏（FSECD）算法。该算法采用批次内构建策略,将学生模型的输出特征嵌入到教师模型特征空间中,使得每个学生模型的输出特征和教师模型输出的N个特征构成N个对比对。每个对比对中,教师模型的输出特征是已优化、固定的,学生模型的输出特征是待优化、可调优的。在训练过程中,FSECD缩小正对比对的距离并扩大负对比对的距离,使得学生模型可感知并学习教师模型输出特征的样本间关系,进而实现教师模型知识向学生模型的迁移。在CIFAR-100和ImageNet数据集上对不同师生网络架构进行的实验结果表明,与其他主流蒸馏算法相比,FSECD算法在不需要额外的网络结构和数据的情况下,显著提升了性能,进一步证明了样本间关系在知识蒸馏中的重要性。     

基于深度神经网络的空气质量预测系统

提出了使用深度栈式自编码模型进行空气质量预测.选择了PM2. 5、PM10等污染物数据作为样本.本模型基于Java平台构建,进行了训练和参数调整,建立了最优的空气预测模型.根据北京市的实验结果表明,该模型具有良好的精度.与支持向量回归(SVR)模型和线性回归模型相比,本文提出的模型具有优越的性能.     

基于稀疏编码空间金字塔模型的零样本学习

针对目前零样本图像分类均采用图像底层视觉特征训练属性分类器而导致分类精度较低的问题,提出一种基于稀疏编码空间金字塔模型的零样本学习方法,给出系统结构流程图.首先从原始视觉图像中提取SIFT特征,并进行SIFT特征点提取;然后构建空间金字塔最大池化模型,对已提取的SIFT中间特征进行稀疏编码;最后建立间接属性预测模型.给出基于稀疏编码的空间金字塔最大池化模型的零样本学习算法步骤,完成对目标图像的属性预测,从而达到零样本图像分类的目的.在Shoes数据集与OSR数据集上进行了对比试验.结果表明:试验证实了文中算法的有效性;相对于传统算法,试验耗时减少,图像属性预测精度增加,图像分类识别率提高.     

基于上下文感知空间坐标嵌入的时空图卷积网络

针对空间复杂的非欧几里得结构，图卷积网络不易通过欧氏距离构造输入图的问题，提出了上下文感知空间坐标嵌入的时空图卷积网络(STE-STA)模型，将空间背景和相关性明确地结合到模型中，并基于地理空间辅助任务学习、语义空间嵌入和动态图的时空注意力识别手势。首先从手骨架构造一个完全连接图，通过学习地理坐标的上下文感知向量编码，以及自我注意机制对节点特征和边缘进行自动学习；然后，与主任务并行预测数据中的空间自相关。实验结果表明，在DHG-14/28数据集上，STE-STA模型识别率分别达到92.40%与87.85%,均高于目前最优模型；在SHREC′17数据集上，比时空图卷积网络(ST-GCN)分别高0.60%和0.10%。     

基于迁移学习的软件缺陷预测方法研究

针对传统的软件缺陷预测方法难以在单独的项目中利用小规模训练数据的问题,提出了一种基于迁移学习的软件缺陷预测技术,利用已有的项目辅助新项目的预测.该方法在源项目和目标项目之间寻找一个公共特征空间,使得在公共特征空间上2个项目的数据分布距离最小.在这个公共空间进行模型训练,以达到迁移分类的效果.实验结果显示该方法相对传统的缺陷预测算法有更好的预测性能,并且充分利用了原始训练数据,可以更高效地运用于各种软件缺陷预测任务.     

基于信息熵度量的局部线性嵌入算法

针对局部线性嵌入算法使用欧氏距离计算非对齐样本相似性时, 受数据位置差影响较大, 导致度量精度较低, 影响算法特征提取精度的问题, 提出一种基于信息熵度量的局部线性嵌入算法. 首先利用信息熵统计样本特征间的混乱程度, 提高划分局部邻域的准确性; 然后建立局部重构模型, 挖掘出流形的本质结构; 最后利用局部结构构建低维重构模型, 以获得样本的显著特征. 通过在轴承数据集上的实验证明了该算法在特征提取方面的有效性.