基于Matlab的贝叶斯分类器实验平台MBNC

为了测试评估贝叶斯分类器的性能,用不同数据集进行对比实验是必不可少的．现有的贝叶斯网络实验软件包都是针对特定目的设计的,不能满足不同研究的需要．介绍了用Matlab在BNT软件包基础上建构的贝叶斯分类器实验平台MBNC,阐述了MBNC的系统结构和主要功能,以及在MBNC上建立的朴素贝叶斯分类器NBC,基于互信息和条件互信息测度的树扩展的贝叶斯分类器TANC,基于K2算法和GS算法的贝叶斯网络分类器BNC．用来自UCI的标准数据集对MBNC进行测试,实验结果表明基于MBNC所建构的贝叶斯分类器的性能优于国外同类工作的结果,编程量大大小于使用同类的实验软件包,所建立的MBNC实验平台工作正确、有效、稳定．在MBNC上已经进行贝叶斯分类器的优化和改进实验,以及处理缺失数据等研究工作．     

TAN分类器及其应用

主要介绍了贝叶斯网络分类器中的TAN分类器的模型、构造方法及分类方法.通过对参加2006年6月大学英语四级考试同学的学习情况及考试成绩的问卷调查获得数据,采用Hold-out检测方法,即取出其中2/3的数据集作为训练集,另外1/3数据集作为测试集,构造TAN分类器,检验分类器的分类效果.并通过与朴素贝叶斯分类器分类效果的对比实验,证明TAN分类器是分类效果较好的分类器.     

最大相关最小冗余限定性贝叶斯网络分类器学习算法

朴素贝叶斯分类器 (naive bayes) 是一种简单而有效的基于贝叶斯思想的分类方法,但它的属性条件独立性假设并不符合实际,影响了它的分类性能。BAN (bayesian network augmented naive bayes) 分类器扩展了朴素贝叶斯分类器,使其表示属性之间依赖关系的能力增强,但是其学习算法需要大量的高维计算,在小采样数据集上,影响BAN分类器的分类性能。基于改进的最大相关最小冗余特征选择技术,提出限定性贝叶斯网络分类器学习算法 (k-BAN)。本算法使用改进的最大相关最小冗余特征选择技术,通过选择属性结点的连接关系集合建立属性之间的依赖性关系。将该分类方法与NB,TAN和BAN分类器进行实验比较。实验结果表明,在小采样数据集上,本算法获得的限定性贝叶斯网络分类器具有更高的分类准确性。     

基于选择性的贝叶斯分类器集成方法

提出一种基于选择性的贝叶斯分类器集成方法．该方法为避免数据预处理时的属性约简对分类效果的直接影响，在训练集上通过随机属性选取生成若干属性子集，并以这些子集训练不同的贝叶斯分类器，进而采用遗传算法优选贝叶斯分类器集成，其适应度函数综合了分类器的精度和差异度两项指标．实验中，将该方法与已有方法在UCI的标准数据集上进行了性能比较，并将该方法用于C^3I系统中的威胁度估计。     

基于MWST+T-K2结构学习算法的贝叶斯分类器

针对K2算法在构建贝叶斯分类器时节点排序不同影响分类准确率的问题,提出了一种MWST+T-K2结构学习算法,运用Matlab软件的BNT工具箱构建了MWST+T-K2分类器,并经过NBC、TANC、MWST和MWST+T-K2分类器对UCI数据库的24个分类数据集进行分类检验.结果表明,对4种分类器在24个数据集上的分类水平进行整体与两两比较时,MWST+T-K2分类器的分类水平均最优;在小数据集上比较时,MWST+T-K2分类器的分类水平取得全局最优,未取得局部最优;在大数据集上比较时,未取得全局或局部最优,低于TANC的分类水平.所以,MWST+T-K2结构学习算法是一种适合构建小数据集贝叶斯分类器的方法.     

完全贝叶斯分类器在经济数据分类中的应用

针对贝叶斯分类器分类强关联属性导致分类准确率下降的问题,提一种完全贝叶斯分类器合理利用属性间的依赖关系优化贝叶斯分类器,对参数进行动态调整组合,同时合理剔除无关属性.采用国内外知名数据库提供的数据,通过与其他分类器的对比实验,证明了完全贝叶斯分类器在宏观与微观经济数据分类中都获得了较好的分类效果.     

课堂教学评估的多层次贝叶斯网络分类器方法

课堂教学是为实现一定的教学目标而展开的信息传递、过程控制和策略实施过程.依据课堂教学的特点给出了课堂教学评估的指标体系,并在此基础上建立了课堂教学评估的层次贝叶斯网络分类器模型.为提高分类器的分类识别准确率,在连续属性中引入形状参数,实验结果显示,通过形状参数的优化能够显著提高分类器的分类识别可靠性.     

基于贝叶斯网络分类器的车牌相似字符识别

相似字符识别率低会影响整个车牌识别系统的性能,而相似字符之间只有局部特征差异较大,并且相似字符样本数目多少差异较大,目前常用的分类器表现得都不稳定.贝叶斯网络分类器充分利用和综合先验知识与样本信息,无论实验样本和特征数目多少,表现得都很稳定.通过使用几千个测试样本对分类器进行测试,并与其他分类器的识别结果作比较.实验结果表明,在相同的特征下,与AdaBoost分类器、BP神经网络分类器、SVM分类器相比,贝叶斯网络分类器对车牌相似字符的识别有较高的识别率和更高的稳定性.     

基于提升的BAN组合分类器

提升是一种有效的分类器组合方法,它能够提高不稳定学习算法的分类性能,但对稳定的学习算法效果不明显.BAN(BN augmented Nave-Bayes)是一种增强的贝叶斯网络分类器,通过提升很容易提高其分类性能.文中比较了GBN(general BN)和BAN的打包分类器Wrapping-BAN-GBN与基于提升的BAN组合分类器Boosting-BAN,最后通过实验结果显示了在大多数实验数据上,Boosting-BAN分类器显示出较高的分类正确率.     

基于贝叶斯网络的分类器研究

研究了贝叶斯分类器家族中具有代表性的分类器，即朴素(naIve)贝叶斯分类器、贝叶斯网络分类器和TAN(tree augmented Bayesian)分类器；发现属性变量之间的依赖相对于属性变量与类变量之间的依赖是可以忽略的，因此在所有树形分类器中TAN分类器是最优的．     

多分类器结合的人脸识别

用贝叶斯理论分析了常见的和、积、中值及投票多分类器结合方法,指出它们各自的缺陷,类比真实的选举情形,对原投票法进行了改进：赋予不同分类器不同的“说话份量、被重视程度”,即不同权值,增加“第二候选人”备选,并考虑“第一与第二候选人”的可信度差给予“附加选票”。采用Olivetti和Oracle研究室的人脸图像库,结合本征脸法、协同算法和自联想神经网络法分类器,对比了新方法和常见结合方法。实际结果表明,改进的方法有较好的识别率。     

边排序贝叶斯网络结构学习算法应用于基因调控网络构建

提出一种基于多数据源融合思想的贝叶斯网络结构学习算法.该方法在现有贝叶斯网络结构学习算法的基础上,进行网络结构再学习,能有效处理不同数据源无法简单合并的问题.实验结果表明:在现有基因芯片数据节点数过多但数据量过少的前提下,该算法能有效提高建网精度;基于酿酒酵母细胞周期对不同实验条件下的表达数据进行融合,可以将正确率提高约12%.     

基于贝叶斯方法的中尺度对流系统移动方向研究

在朴素贝叶斯分类的基础上建立了一种增强型分类器系统,并在对1997～2002年夏季青藏高原上MCS(Mesoscale Convective System)进行自动追踪的基础上,对MCS的移动方向与其周边环境物理量场的分布特征进行了分类研究.进而,将分类结果与决策树、人工神经网络分类方法进行了比较.研究表明,与其他分类方法相比,使用增强型的贝叶斯分类器预测MCS的移动路径具有较好的效果,这为揭示高原上MCS的移动规律、提高长江中下游地区灾害天气预报的准确率提供了一种有效的方法.     

基于置换检验的两步基因特征选择算法

针对目前大规模基因数据集中存在大量的噪声和冗余基因这一问题,提出了一种基于置换检验的两步基因特征选择算法。该算法首先采用方差分析过滤噪声基因,然后采用相关系数过滤冗余基因,最后结合置换检验的方法,可以高效、自主地处理大规模基因数据集。采用PAM(prediction analysis for microarrays)分类器,在RSCTC 2010 Discovery Challenge提供的12个竞赛数据集作基因特征选择与分类实验,实验结果表明,提出的算法能够选择高分辨、低冗余的基因子集,与目前其他基因特征选择算法相比,可以提高分类器性能。     

若干评价准则对不平衡数据学习影响的研究

评价准则对分类器的构建起着重要作用, 在不平衡数据学习(IDL)中这更是如此. 众多研究已表明, 绝大部分传统的以精度准则为优化目标而获得的分类器是不适于IDL的. 那么其他准则又如何呢? 本文致力于回答这个问题. 通过在支持向量机(SVM)模型上进行“元学习”(Meta-Learning), 我们研究了若干常用的评价准则对IDL的影响, 这些准则包括ACC(精度)、BAC(平衡精度)、 GMean(几何平均)、F1(F1得分)、 IG(信息增益)、AUC(ROC曲线下方图面积)以及本文提出的两个新准则GAF和GBF. 在16个来自UCI的不平衡数据集上进行了仿真实验； 对实验结果的统计分析表明, 不同的准则对分类器性能的影响有显著差异. 即便是对于先进的学习方法SVM而言, 若以精度准则最大化选择分类器, 那么得到的SVM分类器也容易偏向预测多类(majority class). 然而, 通过在其他准则上优化, 我们能输出纠偏了的SVM分类器, 它们的整体性能更高, 尤其是在预测少类(minor class)能力方面得到了显著提高. 进一步地, 仿真实验发现在GAF以及GBF准则上优化所得的SVM分类器具有稳定且良好的性能, 这表明它们是值得采用的评价准则.     

贝叶斯分类器集成的增量学习方法

针对基于决策树和神经网络的增量学习算法的过量匹配和分类精度有限的缺点,提出了一种基于贝叶斯分类器集成的增量学习方法.综合朴素贝叶斯的增量分类和集成的增量学习方法,采用随机属性选择训练初始SBC(simple Bayesian classifiers),通过判断是否带有类别标签,将增量样本自动分组,并利用遗传算法对结果进行优化.实验结果表明,贝叶斯分类器集成的增量学习方法有效.     

基于粗糙集理论和BP神经网络的文本自动分类方法研究

结合粗糙集的属性约简和神经网络的分类机理，提出了一种混合算法. 首先应用粗糙集理论的属性约简作为预处理器，把冗余的属性从决策表中删去，然后运用神经网络进行分类. 这样可以大大降低向量维数，克服粗糙集对于决策表噪声比较敏感的缺点. 试验结果表明，与朴素贝叶斯、SVM、kNN传统分类方法相比，该方法在保持分类精度的基础上，分类速度有明显的提高，体现出较好的稳定性和容错性，尤其适用于特征向量多且难以分类的文本.     

网络安全态势感知框架及随机森林评估模型

针对传统网络安全态势感知评估过多依赖专家经验的问题,提出一种基于随机森林的多层次网络安全态势感知(Cyber Security Situational Awareness,CSSA)框架评估模型.首先将CSSA的过程与安全数据生命周期进行对齐,并分析CSSA的需求,提出CSSA多层次分析框架,然后采用随机森林算法,构建CSSA评估模型,该模型基于多个分类器组合的思想,由决策树构成,每棵树依赖于独立样本,以及森林中所有树的随机向量分布相同的值.在进行分类时,每棵树投票并返回票数最多的类,这使得网络安全态势评估更为客观和准确.实验表明,与贝叶斯网络相比,此模型可以更快速、更准确地评估当前的网络安全情况.