增量构造负相关异构神经网络集成的方法

基于负相关异构网络,提出了一种增量构造异构神经网络集成(NNE)的方法.该方法在训练成员网络时,不仅调整网络的连接权值,而且动态调整网络的结构,从而在提高单个网络精度的同时增加各成员网络之间的差异度,减小网络集成的泛化误差.该方法包括构造最佳异构网络(BHNN)和构造异构网络集成(HNNE)两个部分,BHNN基于负相关学习动态构造多个最佳网络,HNNE利用训练好的最佳网络增量地构造异构NNE.使用网络泛化误差和集成泛化误差,整个集成过程可自动完成,无需预先确定成员网络的结构.分别对回归和分类问题进行了实验,相对于单个网络,该方法在测试数据集上的错误率降低了17%～85%,与已有的Boosting、Bagging等网络集成方法相比,错误率也有不同程度的改善.     

神经网络动态集成技术及其应用

针对当前神经网络集成方法在提高泛化能力方面的不足,提出了神经网络动态集成技术。该技术首先对神经网络集成中的个体之间进行负相关处理提高个体的差异度,然后选择训练误差较小的个体来提高个体的精确度。最后,以广东省某市的宏观经济数据为例,证明了该技术的有效性。     

基于特征选择的神经网络集成方法

将特征选择技术ReliefF引入Bagging方法中,提出了一种新的神经网络集成方法——ReBag．实验结果表明,本方法的泛化能力优于Bagging方法,与Attribute Bagging方法相当但效率更高．     

基于信息典型相关分析的盲源分离算法

针对盲源分离问题,将互信息理论与典型相关分析理论相结合,提出了一种基于信息典型相关分析的盲源分离算法.该算法首先利用模式搜索法求解,得到混合信号向量的线性组合与混合信号向量延迟的线性组合之间互信息最大的信息典型向量,互信息计算中的概率密度函数由高斯核密度估计.然后,将信息典型向量依次与接收的混合信号数据阵相乘.完成对源信号的逐一抽取和分离.仿真实验结果表明,该算法不仅能有效分离包含超高斯信号成分的混合信号和包含亚高斯信号成分的混合信号,还能分离同时包含这2种成分的混合信号以及病态混合信号.     

采用负相关学习的SVM集成算法

为了平衡集成学习中多样性与准确性之间的关系,并提高决策分类器的泛化能力,提出一种基于负相关学习和AdaBoost算法的支持向量机(SVM)集成学习方法.将负相关学习理论融合到AdaBoost-SVM的训练过程中,利用负相关学习理论计算基分类器间的相关性,并根据相关性的值自适应调整基分类器的权重,进而得到加权后的决策分类器.在UCI数据集中进行仿真,结果表明:相较于传统的负相关集成学习算法和AdaBoost-SVM算法,所提出的方法分类准确率更高,泛化能力更好.     

基于互信息的模糊决策树及其增量学习

将互信息引进模糊决策树,用于确定决策树的候选分类属性,进而构建模糊决策树.通过增量学习来修正决策树分类模型,以修正分类效果,并用实验验证了该方法的有效性.     

云模型和集成极限学习机相结合的滚动轴承故障诊断方法

针对轴承振动信号的不确定性和非平稳性以及BP神经网络学习算法收敛速度慢、稳定性差等问题,提出了基于云模型和集成极限学习机的滚动轴承故障模式识别方法.将经预处理之后的信号进行云化,产生滚动轴承在不同状态下的信号云;提取出决定信号云分布的期望、熵和超熵三个参数作为表征轴承状态的特征量并依此构造出原始的轴承状态数据集;再将故...     

Web database sampling approach based on attribute correlation

In this paper,we present a novel approach utilizing attributes correlation for the sampling task on nonuniform hidden databases. We propose the method of calculating the attributes dependency and construct the sampling template according to the attributes dependency. Then,we use the sampling template to gen-erate initial sampling queries and propose a bottom-up algorithm to search the sampling template. We also conduct extensive ex-periments over real deep Web sites and controlled databases to illustrate that our sampling method has good performance both on the quality and efficiency.     

改进的集成神经网络学习优化研究

AdaBoosting算法是一种集成学习算法，用来提高不稳定学习器的泛化能力．本文基于神经网络是一种不稳定分类器的机理结合最小二乘算法和遗传算法，提出了对集成神经网络分类器权值进行优化的新方法．     

SVMENCL:一种入侵检测的新方法

在入侵检测中使用单个的支持向量机容易因"单点失效"而危害系统安全.提出一种基于支持向量机集成的方法来进行入侵检测.它采用负相关学习技术,在误差项中使用相关性惩罚因子使得生成的分类器有更好的多样性和精度;算法采用进化策略来自动地确定个体支持向量机的超参数,避免了需要了解问题的先验知识;最后,采用集成技术来组合个体支持向量机的检测结果.仿真实验表明这一方法有更好的检测性能,并且这种分布式并行检测方法有利于增加入侵检测系统的鲁棒性.     

基于集成学习的用户信用卡违约预测模型研究

用户信用卡违约预测任务有助于银行等金融机构平衡经济风险与经济利益,对于银行信用卡业务的风险管控具有重要作用。针对用户信用卡违约预测问题,提出了一种基于集成学习的预测模型,有异于传统集成学习中的弱学习器。该模型采用集成模型和神经网络模型作为基学习器,从而提升模型整体的预测效果。首先通过预处理提取用户信用卡数据集的相关特征,然后分别采用优化后的决策树、随机森林、GBDT、XGBoost、CatBoost和SPE六种机器学习模型与神经网络模型进行并行训练和预测,最后通过加权软投票法集成基学习器结果并输出最终预测结果。结果表明,相对于基学习器,该模型在各项评估指标上均有所提升,且拥有更好的模型泛化能力。     

信息网络表示学习方法综述

网络表示学习方法将信息网络表示为低维稠密携带网络节点特征信息的实数向量,应用于下游机器学习任务的输入,随着机器学习与深度学习的发展,网络表示学习拥有强大的建模能力且应用广泛。对网络表示学习方法、应用进行了归纳总结。首先,对当前国内外网络表示学习方法进行梳理归类,分为传统方法、基于网络结构的嵌入、融入属性信息的嵌入,以及基于谱域的图卷积、基于空间的图卷积和图attention网络,按类别对各类模型详细阐述,对比模型之间的适用性和方法特点;其次,介绍了网络表示学习的相关应用,包括推荐系统领域、生物医药领域等,整理常用的数据集、开源实现的表示学习模型和强大的图深度学习库供研究者参考调用;最后,对网络表示学习的发展趋势进行了总结与展望。未来可在深层的图神经网络学习、动态和异构网络的表示、网络模型的泛化能力等方面继续开展研究。     

一种改进的决策规则生成算法

将神经网络集成与C4.5Rule方法相结合,提出了一种改进的决策规则生成算法.该算法以神经网络集成作为C4.5Rule学习的前端,利用其产生用于C4.5Rule学习的数据集,在此基础上进行决策规则的生成.在UCI机器学习数据库上的实验结果表明,该算法可以产生泛化能力较强的决策规则.     

融合标签局部相关性的标签分布学习

提出了一种融合标签局部相关性的标签分布学习(label distribution learning, LDL)算法,该算法分为3个阶段。初始预测阶段构建多层神经网络模型,将样本的原始特征作为输入、初始预测的标签分布作为输出;局部矫正阶段首先利用k-means聚类算法获得不同类所描述的局部信息,然后针对不同类计算对应的协方差矩阵,利用该矩阵来矫正初始预测的标签分布,获得每个类对应的矫正标签分布;标签融合阶段对矫正后的标签分布进行加权,再与初始预测的标签分布进行融合,得到最终的预测分布。在8个公开数据集上与9种常用的LDL算法进行对比实验,结果表明本文的算法能较好地描述标签局部相关性,在多个主流评估指标上排名靠前。     

异构网络表示学习方法综述

现实生活中存在的网络大多是包含多种类型节点和边的异构网络,比同构网络融合了更多信息且包含更丰富的语义信息。异构网络表示学习拥有强大的建模能力,可以有效解决异构网络的异质性,并将异构网络中丰富的结构和语义信息嵌入到低维节点表示中,以便于下游任务应用。通过对当前国内外异构网络表示学习方法进行归纳分析,综述了异构网络表示学习方法的研究现状,对比了各类别模型之间的特点,介绍了异构网络表示学习的相关应用,并对异构网络表示学习方法的发展趋势进行了总结与展望,提出今后可在以下方面进行深入探讨:1)避免预先定义元路径,应充分释放模型的自动学习能力;2)设计适用于动态和大规模网络的异构网络表示学习方法。     

发育学习在足球机器人基本动作技能中的应用

研究了发育学习算法及其在机器人足球比赛技术动作学习问题中的应用。结合发育学习算法的优点,选用合适的强化学习算法,并将其应用于足球机器人动作技能的学习中。无需任何先验知识和环境模型,通过不断与环境交互获得知识,自主地进行动作选择,具有自主学习能力,在自主机器人行为学习中受到广泛重视。最后,给出了试验结果分析,并验证了该算法的优越性和有效性,并且能够满足高水准机器人足球比赛的需要。     

基于互信息的弱随机特征子空间生成算法

集成算法是机器学习领域的研究热点。随机子空间算法是集成算法的一个主要算法。随机子空间生成的特征子集可能含有冗余特征、甚至噪声特征,影响算法的分类精度。为此,本文提出了一种基于互信息的弱随机特征子空间生成算法（WRSMI）,有效去除了特征子集中的冗余特征和噪声特征。在UCI数据集上的实验结果表明,WRSMI的分类性能优于随机子空间算法。     

基于集成学习与生成对抗网络的皮肤镜图像分类方法

皮肤镜是辅助皮肤科医生诊断的有效途径,但是人工分类高度依赖医生的临床经验,并且皮肤镜图像本身的复杂性给分类提出了巨大的挑战.为了解决皮肤镜图像分类问题,基于集成学习提出了一种集成投票块的皮肤镜图像分类方法.首先,针对ISIC 2019提供的皮肤镜图像进行预处理,为了缓解数据集较少且分布不均的问题,使用生成对抗网络和旋转...     

基于半监督学习的单类分类器

半监督学习是一种利用有标记样本和无标记样本进行学习的新的机器学习方法。针对单分类中只有目标类标记样本和大量无标记样本的情况,提出了一种基于半监督学习的单类分类算法。利用已标识的有标记样本建立两个单类分类器,通过相互学习来挖掘未标记样本中的隐含信息,扩大有标记样本的数量。利用所有已标识样本,用不同的单分类方法建立多个单类分类器,通过集成学习的方法得到最终的分类器。在UCI数据集上进行了实验,表明提出的基于半监督学习的单类分类器的有效性。     

基于深度学习的无线电信号分类

对无线电信号分类的相关技术进行了研究,提出一种新的基于残差神经网络和群卷积神经网络的深度学习网络来实现无线电的分类.该神经网络基于同相分量信号和正交分量信号组成的样本进行训练,实验结果显示,在10 dB时对24种信号的分类准确率达到了95.69％,揭示了该网络架构的有效性与实用性.