逆演绎的学习算法研究

针对传统归纳学习的困难,提出一种新的逆演绎的学习算法.从学习任务、模式声明和启发信息角度出发,研究逆演绎学习算法相关的逆演绎规则、格结构和状态算子等核心问题,并利用逆演绎的学习算法实现了学习推理系统.该算法包括最特殊子句构造、状态空间搜索和覆盖集计算3个模块;以最泛化子句为顶结点、最特殊子句为底结点、其他为中间结点,通过状态算子构建格结构的状态空间,在压缩引导的启发信息下,类A＊算法完成状态空间搜索,得到压缩最大的正例结点或反例结点;再利用覆盖集算法不断进行覆盖正例去除反例的操作,计算出经剪枝和压缩的最优子句;重复计算的最大压缩率的假设,便是搜索出的关系,也是需要学习的结果.算法测试结果表明,逆演绎的学习算法可产生泛化能力很强的规则,是可行及有效的.     

元学习策略及性能评价

为提高分类系统的性能,提出一种统一多种元学习算法的元学习框架,定义并描述了并行和串行两种组合方式.由基分类器的分类结果构成新属性,并加入到特征向量中以形成元数据.通过扩展特征向量,元学习增强了对假设空间的表达能力,降低了系统的偏差.在加州大学提供的标准数据集上对元学习策略进行了实验研究,结果表明:与多数投票、最大规则、最小规则等融合方法实现的多分类器系统相比,并行和串行组合在所用数据集上的平均分类错误率可分别降低39.12%和40.56%,且在n分交叉验证中n值的增加并不能改进分类性能,串行组合中的基分类器的顺序对分类错误率没有显著影响.     

基于免疫原理和Boosting机制的模糊分类规则挖掘算法

基于免疫原理和Boosting机制,提出了一种模糊分类规则挖掘算法.该算法主要借鉴于自然免疫系统中的克隆选择原理,通过抗体种群的演化来优化模糊规则.模糊规则库通过增量的方式产生,算法每次运行得到一个规则.Boosting机制用于调整训练数据的权值,使得新生成规则集中于当前未被覆盖或误分类的数据实例.仿真实验表明,所提算法可根据规则的分类精度来调整训练数据的权值,促进了模糊规则之间的协作关系,避免了规则之间相互冲突,提高了系统的分类精度.     

提取有效规则的关联分类算法

针对关联分类算法产生的规则普遍存在分类器分类精度、效率低的问题,提出了一种提取有效规则的关联分类算法--ACDER算法.首先定义了剩余支持度和剩余置信度,然后通过计算规则剩余支持度和剩余置信度建立了分类器并进行剪枝,以达成对分类尽量少且最有效的规则构成分类器,确保分类器中不存在任何冗余规则和冲突规则.在8个数据集上的测试结果表明,所提算法的平均分类精度比关联规则算法提高了4.15%,而在所有数据源分类器上的规则数却减少了54%.     

基于加权元学习的节点分类算法

受注意力机制和直推式学习方法的启发,提出一种基于加权元学习的节点分类算法.首先利用欧氏距离计算元学习子任务间数据分布的差异;然后利用子图的邻接矩阵计算捕获子任务间数据点的结构差异;最后将二者转化为权重对元训练阶段更新元学习器过程进行加权,构建优化的元学习模型,解决了经典元学习算法在元训练阶段所有元训练子任务的损失是等权重更新元学习器参数的问题.该算法在数据集Citeseer和Cora上的实验结果优于其他经典算法,证明了该算法在少样本节点分类任务上的有效性.     

基于模拟退火的模糊分类系统在数据挖掘中的应用

给出了一种基于模拟退火的模糊分类系统—SAFCS,该分类系统结合了SA元启发式搜索策略的学习能力和模糊系统的近似推理方法,旨在改善与分类问题有关的大型数据空间的搜索性能,找到模糊if-then规则的优化集.SAFCS可以从输入数据集中抽取精确的模糊分类规则,并在若干不同预定义类中将其应用于对新数据实例的分类.文末用某数据集检测了SAFCS的性能,结果表明,在与其他几个著名算法比较时该分类系统性能可靠.     

一种自适应蚁群分类算法

将分类学习看作是一个找出最优分类规则的优化问题,提出一种自适应蚁群分类算法——AdaptiveL_AMP,以得到一组可理解的分类规则.在基于规则的分类方法中,规则评价函数的选取至关重要,本文提出的算法能够针对不同数据集自动选取与之相适应的规则评价函数以提高分类准确性.此外,为进一步提高算法的分类准确率,设计了一种局部搜索策略并将其融入到AdaptiveL_AMP算法中.最后对算法进行了分析,并在多个公用的真实数据集上与相关算法进行了比较,结果表明AdaptiveL_AMP算法能够更加有效地解决分类问题.     

基于LCS的水库供水规则分类系统

建立了基于遗传学习分类器系统(LCS)的水库供水规则分类系统,通过信任分配(桶链算法,BBA)与规则发现(遗传算法,GA)机制进行学习,提取水库供水调度规则.实例研究得到学习样本识别率接近95%,检验样本识别率为85%.进一步从调度规则的合理性、学习样本对规则集的影响以及该分类系统与人工神经网络对规则提取结果的比较这3个方面分析了系统提取规则的性能与行为.研究表明,利用该分类系统提取水库供水调度规则是可行且有效的.     

基于属性相关的智能学习指导模型的设计与实现

决策树分类算法是智能指导系统实现"智能"的一种有效工具。通过对数据的分析和挖掘,能够实现对数据的精确分类。另外,对于决策树和产生式规则集的计算相对简单而且高效。提出了智能指导系统,并介绍了该系统的主要功能模块。在比较了ID3算法和C4.5算法后,结合个性化教学的需求,提出了新的基于规则属性相关的C4.5r算法。同时,给出了系统的计算评估模块。实验结果表明,新的C4.5r算法在运算时间、产生式规则集的规模及计算产生式规则的开销方面明显优于传统的C4.5算法。     

山峰-减法聚类神经元模型及学习算法

将神经网络与数据集的密度指标结合起来提出一种山峰－减法聚类神经网络方法，利用数据集的密度指标对基类进行合并，并不断重复直至产生足够多的聚类中心，就可完成对聚类神经元的学习。给出该聚类的神经元模型和学习算法。该方法的主要优点是对于工程应用中的大样本集分类和重叠数据的模式分类问题，显得非常有效。     

基于组织进化和信息熵的数据驱动分类算法

提出了一种分类算法--基于组织进化和信息熵的数据驱动分类算法(a data-driven classification algorithm based on organizational evolution and entropy,DDCAOEE),与已有进化算法的运行机制不同,它的进化操作直接作用于数据而不是规则,进化结束后再从各组织中提取规则,这样有利于避免在进化过程中产生无意义的规则.根据分类问题的特点,设计了信息系统的组织,提出了3种进化算子和一种组织选择机制,给出了基于信息熵的属性重要度的进化方式,并基于此定义了组织适应度函数,最后,将算法用于6个试验数据集,并与现有的2个分类方法(Ant-Miner和CN2)进行了比较,实验结果表明,该方法获得了更高的预测准确率,产生了更小的规则集.     

基于多次学习和关联度的关联分类改进算法

基于支持度置信度框架的关联分类算法在生成规则时难以提出大量高质量规则,而且在一些数据集尤其是不平衡数据集上,部分训练实例未被产生的关联规则所覆盖,导致算法的分类准确率不高.基于以上问题提出了改进的关联分类的算法(Improved Algorithm based on Multiple learning and Correlation degree,IAMC).首先,在提取规则时,IAMC对训练集进行多次关联分类学习,尽量多地提出高质量的规则.其次,在生成规则时采用综合考虑了置信度,补类支持度的新度量关联度,以提高生成的规则的质量.最后,在关联分类规则提取后,对利用已有规则无法判断类别的和未被已有规则覆盖的训练实例用决策树方法再次提取规则,并加入到规则集中.实验结果表明,IAMC算法能提出更多高质量的规则,在多个UCI数据集上具有较高的分类准确率.     

一种IP数据包快速分类算法

为了提高查找效率,在无冲突哈希查找算法和Grid of Tries算法的基础上提出了一种基于无冲突哈希和多比特Trie树(NHMT)的IP分类算法.该算法的核心有3部分:哈希函数的构造,主要是采用基于目的端口和协议两域构造哈希函数,使得在最坏情况下完全避免了空间爆炸问题;在Grid of Tries算法的基础上,对Grid of Tries算法改造成修剪的Trie树和多比特Trie树,以减少空间复杂度;在无冲突哈希查找算法的基础上扩展一层用于存放源端口号(或范围),扩展后一般要提高算法的时间复杂度,要通过引入多比特Trie树的方法进行解决.对于空间复杂度方面与无冲突哈希查找算法比较,一般情况下不增加空间复杂度.通过仿真,当对10 000条规则进行包分类时,该算法的分类速度可以达到1 Mbit/s,所消耗的最大内存为8.2 MB.     

基于K-均值聚类的朴素贝叶斯网络分类模型

针对朴素贝叶斯网络分类模型在处理高维大数据量时的效率偏低和准确率有待提高的问题,结合主元分析法与K-均值聚类算法构造出了一个改进的朴素贝叶斯网络分类模型;摒弃了非类属性变量相对于类属性变量相对独立的前提条件,算法首先用主元分析法在对数据集的信息量尽量保存的同时进行了降维操作,使得算法可以着重于进行分类问题;算法还提出了一个"相对融合点"的概念,有效地提高了算法的性能;最后对算法的性能进行了分析,并将改进的算法应用到实际的数据集进行实验,用算法产生的分类结果对数据集中产生的一些缺失数据进行修补。     

基于组织进化和信息熵的数据驱动分类算法

提出了一种分类算法---基于组织进化和信息熵的数据驱动分类算法(a data-driven classification algorithm based on organizational evolution and entropy,DDCAOEE),与已有进化算法的运行机制不同,它的进化操作直接作用于数据而不是规则,进化结束后再从各组织中提取规则,这样有利于避免在进化过程中产生无意义的规则。根据分类问题的特点,设计了信息系统的组织,提出了3种进化算子和一种组织选择机制,给出了基于信息熵的属性重要度的进化方式,并基于此定义了组织适应度函数,最后,将算法用于6个试验数据集,并与现有的2个分类方法(Ant-Miner和CN2)进行了比较,实验结果表明,该方法获得了更高的预测准确率,产生了更小的规则集。     

基于集成迁移学习的细粒度图像分类算法

针对现有的大部分细粒度图像分类算法都忽略了局部定位和局部特征学习是相互关联的问题,提出了一种基于集成迁移学习的细粒度图像分类算法。该算法的分类网络由区域检测分类和多尺度特征组合组成。区域检测分类网络通过类别激活映射(class activation mapping,CAM)方法获得局部区域,以相互强化学习的方式,从定位的局部区域中学习图像的细微特征,组合各局部区域特征作为最终的特征表示进行分类。该细粒度图像分类网络在训练过程中结合提出的集成迁移学习方法,基于迁移学习,通过随机加权平均方法集成局部训练模型,从而获得更好的最终分类模型。使用该算法在数据集CUB-200-2011和Stanford Cars上进行实验,结果表明,与原有大部分算法对比,该算法具有更优的细粒度分类结果。     

基于对抗样本的深度学习图像压缩感知方法

压缩感知是研究数据采样压缩与重构的信号处理新理论,近年来研究人员将深度学习运用到图像压缩感知算法中,显著提高了图像重构质量.然而,图像信息常与隐私关联,高质量的重构图像在方便人们观赏的同时,带来了隐私保护的问题.本文基于深度学习理论,提出一种对抗的图像压缩感知方法.该方法将压缩理论和对抗样本技术统一于同一个压缩感知算法,通过设计损失函数,联合重构误差和分类误差来训练压缩感知深度神经网络,使得压缩感知重构样本同时也是一个对抗样本.因此,重构图像在保证重构质量的同时,也能对抗图像分类算法,降低其识别率,达到保护图像隐私的效果.在Cifar-10和MNIST图像集上进行的实验结果表明,和已有的压缩感知方法相比,我们提出的对抗压缩感知方法以损失仅10%的图像重构质量为代价,使得图像分类精度下降了74%,获得了很好的对抗性能.     

基于差分进化算法的置信规则库推理的分类方法

现有基于置信规则库参数学习的分类系统存在着一些问题,如分类准确度受模糊子区间划分数量约束,成非严格正相关关系;参数学习方法需人为给定规则数量;推理过程未体现特征与分类结果关联度等.为解决这些问题,提出基于差分进化算法的置信规则库推理的分类方法,该方法包括置信规则库分类系统构建及参数训练.首先引入置信规则库分类系统构建策略确定规则数;然后使用置信推理方法作为分类查询推理机;最后结合差分进化算法建立训练模型.在实验分析中,首先通过与现有分类方法进行对比,验证该方法的有效性;再通过对比不同区间划分数的置信规则库分类系统,说明参数训练的合理性.实验结果表明,该方法合理有效.     

基于DEC算法的多标记学习

由于多标记学习中的"维度灾难"问题,鉴于判别嵌入式聚类(DEC)算法对数据降维的特点,本文提出了基于DEC算法的多标记学习。该算法在多标记数据集作分类处理之前,采取DEC算法对多标记数据集进行维度约简,从而降低算法复杂度、提高分类性能。实验结果表明,这种基于DEC算法的多标记学习是有效的。     

CORS方法与规则生成算法GRs

利用含序粗集方法, 依据标准的优先序信息及标准间的支配关系, 解决了推导含序信息规则问题. 提出一种新的规则生成算法, 并与其他规则产生算法进行了简单对比. 算法按照后件由强到弱产生规则, 能保证生成极小规则, 在某种意义下规则集是完备和无冗余的.