最大相关最小冗余限定性贝叶斯网络分类器学习算法

朴素贝叶斯分类器 (naive bayes) 是一种简单而有效的基于贝叶斯思想的分类方法,但它的属性条件独立性假设并不符合实际,影响了它的分类性能。BAN (bayesian network augmented naive bayes) 分类器扩展了朴素贝叶斯分类器,使其表示属性之间依赖关系的能力增强,但是其学习算法需要大量的高维计算,在小采样数据集上,影响BAN分类器的分类性能。基于改进的最大相关最小冗余特征选择技术,提出限定性贝叶斯网络分类器学习算法 (k-BAN)。本算法使用改进的最大相关最小冗余特征选择技术,通过选择属性结点的连接关系集合建立属性之间的依赖性关系。将该分类方法与NB,TAN和BAN分类器进行实验比较。实验结果表明,在小采样数据集上,本算法获得的限定性贝叶斯网络分类器具有更高的分类准确性。     

基于特征多视图提升Naive Bayesian的Boosting改进算法

AdaBoost作为一种有效的集成学习方法,能够明显提高不稳定学习算法的分类正确率,但对稳定的Naive Bayesian分类算法的提升效果却不明显.为此,利用多种特征评估函数建立不同的特征视图,生成多个有差异的加权朴素贝叶斯(WNB)基分类器;尝试使用几种不同的方式将样本权重嵌入WNB基分类器的参数中,对WNB产生扰动,进一步增加基分类器的不稳定性.实验结果表明,对比AdaBoost所提算法,BoostMV-WNB能够明显提升WNB文本分类器的性能.     

基于Spark的组合分类器链多标签分类方法

随着数据挖掘技术在现实问题中的广泛应用,多标签学习现已成为数据挖掘技术中的一个研究热点.组合分类器链(ECC)算法是一种性能较好的多标签分类方法,其分类效果好、准确度高,但该算法的时空复杂度较高,不能适应大规模多标签数据分类任务.为此提出了一种基于Spark的组合分类器链多标签分类方法,将串行组合分类器链算法的各步骤进行了并行化实现.通过单机实验和集群并行化实验,证明该方法对大规模多标签数据集具有良好的适应能力和加速比,且分类效果不输于传统的串行多标签分类方法.     

HSEC:基于聚类的启发式选择性集成

提出一种基于聚类的启发式选择性集成学习算法.集成学习通过组合多个弱分类器获得比单一分类器更好的学习效果,把多个弱分类器提升为一个强分类器.理论上来说弱分类器的个数越多,组合的模型效果越好,但是随着弱分类器的增多,模型的训练时间和复杂度也随之递增.通过聚类的方法去除相似的弱分类器,一方面有效降低模型的复杂度,另一方面选出差异性较大的弱分类器作为候选集合.之后采用启发式的选择性集成算法,对弱分类器进行有效的组合,从而提升模型的分类性能.同时采用并行的集成策略,提高集成学习选取最优分类器子集效率,可以有效地减少模型的训练时间.实验结果表明,该算法较传统方法在多项指标上都有着一定的提升.     

基于边际的组合分类器选择算法

研究表明,具有较大边际分别的组合分类器泛化性能更高.根据该结论,论文构造了一个新的基于边际的度量指标(MM)以充分考虑基分类器和组合分类器的分类能力,进而提出了一种新的组合分类器选择方法.该方法初始化组合分类器为空(或满),迭代的加入(或移除)具有最大(或最小)MM值的分类器,以降低组合分类器规模并提高它的分类准确率.在随机选择的24个UCI数据集上的实验表明,与其他一些高级的贪心组合选择算法相比,该方法具有更好的泛化能力.     

基于Shapelets的多变量D-S证据加权集成分类

集成学习是分类多变量时间序列的有效方法.然而集成学习对基分类器性能要求较高,基分类器组合算法优劣对分类效果影响较大.为此,提出一种基于Shapelets的多变量D-S(Dempster/Shafer)证据加权集成分类方法.首先,在单变量时间序列上学习得到基分类器Shapelets,基分类器的分类准确率确定为其在多分类器...     

一种基于AdaBoost方法的树形HNB组合分类器

首先提出一种改造HNB后的新算法树形隐藏朴素贝叶斯(Tree-HNB)分类器,进而将该新算法和AdaBoost方法相结合,最后通过大量实验表明这种新的树形隐藏朴素贝叶斯组合分类器在大多数数据集上能够提高HNB的分类性能。     

元学习策略及性能评价

为提高分类系统的性能,提出一种统一多种元学习算法的元学习框架,定义并描述了并行和串行两种组合方式.由基分类器的分类结果构成新属性,并加入到特征向量中以形成元数据.通过扩展特征向量,元学习增强了对假设空间的表达能力,降低了系统的偏差.在加州大学提供的标准数据集上对元学习策略进行了实验研究,结果表明:与多数投票、最大规则、最小规则等融合方法实现的多分类器系统相比,并行和串行组合在所用数据集上的平均分类错误率可分别降低39.12%和40.56%,且在n分交叉验证中n值的增加并不能改进分类性能,串行组合中的基分类器的顺序对分类错误率没有显著影响.     

基于模型决策树的AdaBoost算法

AdaBoost算法是一种将多个基学习器通过合理策略结合生成强学习器的集成算法,其性能取决于基学习器的准确率和多样性。但弱学习器分类精度不高往往也导致了最终强分类器性能较差,因此进一步为了提高算法的分类精确率,本文提出一种MDTAda模型,首先利用基尼指数迭代构造一棵不完全决策树,然后在决策树的非纯伪叶结点上添加简单分类器,生成MDT(模型决策树),将MDT作为AdaBoost算法的基分类器,加权平均生成强分类器。在标准数据集上的实验表明,相比传统的AdaBoost算法,本文提出的算法拥有更好的泛化性能和更优的间隔分布,且在与AdaBoost算法达到相同精度时所需迭代次数更少。     

基于迁移学习和支持向量机的白细胞分类

针对人工镜检分类白细胞准确率和效率低的问题,基于深度学习和机器学习算法,提出了一种基于迁移学习和支持向量机的白细胞分类方法.首先对迁移模型进行微调训练,其次用微调训练后的迁移模型进行特征提取,然后将特征输入至神经网络和支持向量机中进行训练,最后通过神经网络和支持向量机的组合分类器对白细胞进行分类.实验结果表明,白细胞分类准确率由最初微调训练的83.26％,随着迁移模型的优化提升为90.43％,最后通过组合分类器再次提升为93.52％,可以在临床实践中帮助医生提高诊断的准确率和效率.     

一种基于粒子群优化和核极限学习机的入侵检测算法

针对网络入侵检测准确率低、误报率高的问题,本文提出了一种基于粒子群优化和极限学习机的入侵检测算法。粒子群优化算法(PSO)是一种群智能算法,核极限学习机(KELM)是一种学习速度快、泛化能力强的经典核机器学习的方法,但是极限学习机对核函数及参数的选择直接影响它的分类性能。本文算法中利用粒子群算法优化核极限学习机的核参数,采用学习能力强且线性组合泛化能力强的全局性核函数,形成了多核极限学习机,可以有效提高单核极限学习机（ELM）分类器的性能。最后通过实验对算法性能做了对比分析,实验结果验证了本文算法的有效性。     

基于改进XGBoost不平衡围岩超前分类方法的隧洞工程施工仿真研究

为了在围岩类别不平衡的条件下实现围岩类别有效判断,进而提高隧洞工程施工仿真准确性,基于改进极限梯度提升(XGBoost)不平衡围岩超前分类方法进行隧洞工程施工仿真研究。采用自动邻域确定合成过采样(AND-SMOTE)方法优化围岩类别不平衡性,并采用改进的XGBoost不平衡围岩超前分类模型进行围岩超前分类,进而优选仿真参数,提高仿真结果的准确性,其中,以模型交叉验证平均准确率为目标,采用哈里斯鹰优化(HHO)算法自动优化XGBoost超参数,以提高围岩分类精度。工程应用表明,相比未改进的XGBoost不平衡、KNN、SVC等6个模型,改进的XGBoost不平衡围岩超前分类模型分类精度更高;考虑围岩类别不平衡性后,改进的XGBoost不平衡围岩超前分类模型分类精度提高了8.6%;此外,基于围岩超前分类的隧洞工程施工仿真结果与实际进度的相对偏差相比传统仿真降低了11.3%,更符合工程实际。     

基于镜像学习和复合二次距离的手写汉字识别

为解决手写汉字识别中的相似字混淆问题,提出了一种基于镜像学习和复合二次距离的识别算法,提高现有的二次分类器对相似汉字的鉴别能力。该算法为识别置信度较低的训练样本生成镜像虚拟样本,通过迭代训练来调整易混淆字符类别间的分类界面,并对二次分类器给出的候选字使用复合二次距离进行两两鉴别,以减少识别错误。在HCL 2000样本库上的实验表明,该算法能有效提高手写汉字识别的性能,测试集上的误识率下降了20%。     

基于粗糙集的增强学习型分类器

为了提高分类的精确度,提出一种基于粗糙集理论的增强学习型分类器。采用分割算法对训练数据集中连续的属性进行离散处理;利用粗糙集理论获取约简集,从中选择一个能提供最高分类精确度的约简。对于不同的测试数据,由于离散属性值的变化,相同的约简可能达不到最高的分类精确度。为克服此问题,改进了Q学习算法,使其全面系统地解决离散化和特征选择问题,因此不同的属性可以学习到最佳的分割值,使相应的约简产生最大分类精确度。实验结果表明．该分类器能达到98％的精确度．与其它分类器相比．表现出较好的性能。     

采用负相关学习的SVM集成算法

为了平衡集成学习中多样性与准确性之间的关系,并提高决策分类器的泛化能力,提出一种基于负相关学习和AdaBoost算法的支持向量机(SVM)集成学习方法.将负相关学习理论融合到AdaBoost-SVM的训练过程中,利用负相关学习理论计算基分类器间的相关性,并根据相关性的值自适应调整基分类器的权重,进而得到加权后的决策分类器.在UCI数据集中进行仿真,结果表明:相较于传统的负相关集成学习算法和AdaBoost-SVM算法,所提出的方法分类准确率更高,泛化能力更好.     

基于多目标蜂群算法的数据分类方法

为了保证运算时效的同时,提高复杂数据的分类精度,提出了基于多目标蜂群算法和极限学习机的数据分类算法。该方法以最小的特征个数和最高的分类精度为优化目标,利用改进的多目标蜂群算法对数据的特征个数和分类器参数进行寻优,针对多个有代表性的数据集进行仿真,结果表明所提出方法的有效性。     

贝叶斯与k-近邻相结合的文本分类方法

为了提高分类器的精度,对分类器的结构进行了改进,提出了一种基于贝叶斯和k-近邻组合分类器的模型,该分类方法结合了贝叶斯方法分类速度较快和k-近邻方法分类准确率较高的优点.实验结果表明,该方法在保证分类速度的前提下,有效地提高了分类准确率.     

基于时频域组合特征的脑电信号情感分类算法

为了提高基于脑电信号(electroencephalogram, EEG)情感识别的准确率,提取了脑电信号的时域与频域特征,并且将其进行组合形成时频域组合特征,作为不同识别模型下的输入。采用集成决策树(bagging tree, BT)、贝叶斯线性分析(Bayesian linear discriminant analysis, BLDA)、线性判别分析(linear discriminant analysis, LDA)及支持向量机(support vector machine, SVM)四种浅层机器学习算法对EEG在效价与唤醒度上进行二分类情感识别。实验结果表明,DEAP数据集在效价上,基于时频域组合特征在BT分类器下的识别精度平均达到92.54%,在唤醒度维度上基于时频域组合特征在SVM下平均识别精度达到94.62%。     

基于改进随机蕨的增强现实场景实时跟踪注册算法

针对增强现实场景跟踪注册存在速度较慢等问题,提出了一种基于改进随机蕨的增强现实跟踪注册算法.该算法采用离线训练和在线跟踪两个模块.提出了一种嵌入式蕨分类器以提高特征点匹配精度,该分类器采用有监督的降维方法,并利用了所有可能的信息.通过该分类器进行特征匹配,进而计算摄像机位姿并渲染注册虚拟物体.实验结果证明,提出的嵌入式蕨在平均分类精度上优于其他算法.平均处理每帧图像的时间为34.22 ms,基本满足实时性.