半监督Relief-F特征选择算法

数据规模的不断增加，使得为数据库中全部样本做标记变得尤为困难，数据集也因此呈现出了明显的弱标记性.为此，针对大规模少数标记数据集的特征选择问题，基于经典的Relief-F算法，通过综合考虑有标记样本与无标记样本对数据样本近邻的影响，重新定义样本近邻的搜索策略，提出了一种面向符号数据的半监督特征选择算法.为进一步分析新算法的有效性，仿真实验中选取了5组UCI数据集，并引入机器学习中3个常用分类器对新算法和对比算法的特征选择结果的分类性能作了分析和比较，实验结果很好地验证了本文中提出的新算法的有效性和可行性.     

基于概念语义相关性和LDA的文本标记算法

为了提高文本标记和分类的效率,提出了基于概念语义相关性和LDA的文本自动标记算法(Text Mark Label,TML),用以代替人工标记的文本分类标记. 该算法在概念语义相关性计算的基础上,使用LDA(Latent Dirichlet Allocation)提取文本的主题表示,通过计算文本主题从属于各分类目录的期望从而实现文本自动标记. 为验证TML算法的效果,在标准文本分类数据集上使用文本分类器进行有监督文本分类实验. 为对比数据集和分类器对分类效果的影响,在3个数据集（WebKB、Reuters-21578、20-NewsGroup）上分别使用3种不同的分类器（Rocchio、KNN、SVM）进行实验. 实验结果表明:TML算法有效地提高了文本分类效率及文本标记效率.     

基于ELM集成和半监督聚类的SNS隐私保护

针对各类网络数据中存在着大量的无标记数据,导致了SNS(social network service)隐私保护中数据可用性相对较差的问题,本文提出一种基于Bagging的ELM(extreme learning machine)集成算法,并将其与基于Seeds集的半监督聚类算法相结合应用于隐私保护.该算法首先利用ELM-Bagging集成方法对无标记数据进行标记,并将新标记的数据加入Seeds集以扩大其规模,然后采用基于Seeds集的半监督聚类实现K-匿名.实验结果表明,该算法在有效保护隐私的同时,提高了发布数据的可用性.     

Web用户异常行为检测的优化研究

为了优化对于Web日志记录的用户异常行为的检测能力,提出一种基于决策树算法的Web用户异常行为检测算法.从给定已有标签的数据集中,根据Relief-F算法来度量特征,引进混淆矩阵的概念选择合适的阈值 ε,选取比阈值大的统计量分量,其所对应的的特征组成用来训练学习器的特征集.将划分后的相关特征集利用C4.5算法构建模型,...     

基于样本差异性的多标记特征选择算法

在多标记学习中,特征空间的高维性是多标记学习研究的主要问题。文章通过聚类构建由代表性样本组成新多标记数据,定义了多标记决策系统中样本的分类间隔及样本的差异性概念,在此基础上定义了特征权重,提出一种基于样本差异性的多标记特征选择算法,并用4个指标对4个多标记数据集进行实验评价,对比一些当前流行的特征选择算法,验证了本文所提算法的有效性。     

一种基于半监督的大规模数据集聚类算法

待挖掘数据集规模的不断增长,以往的聚类算法由于需要多次扫描原始数据集而不再适用,现阶段,一遍扫描原始数据集即完成聚类的算法成为了首要的研究目标.但是,现有针对大规模数据集的算法容易受到初始化参数以及原始数据集分布的影响,聚类结果质量不高,并且也不稳定.对此,吸收半监督聚类的思想,提出了基于标记集的半监督一遍扫描K均值算法,该算法利用驻留主存的标记集指导聚类过程,使得聚类效率以及聚类结果的质量得到了进一步的提高.在人工生成数据集以及1998KDD数据集上验证了该算法的有效性.     

基于半监督K-means的K值全局寻优算法

提出一种基于半监督K-means的K值全局寻优算法,该算法打破传统方法中采用样本类别作为K值的限定,利用少量标记数据即可指导和规划大量无监督数据.结合数据集自身的分布特点及聚类后各个簇内的监督信息,根据投票方法来指导簇中数据集的类别标记.实验表明,本文所提出的方法可以有效的寻找适合数据集的最佳K值和聚类的中心,提高聚类性能.     

基于DEC算法的多标记学习

由于多标记学习中的"维度灾难"问题,鉴于判别嵌入式聚类(DEC)算法对数据降维的特点,本文提出了基于DEC算法的多标记学习。该算法在多标记数据集作分类处理之前,采取DEC算法对多标记数据集进行维度约简,从而降低算法复杂度、提高分类性能。实验结果表明,这种基于DEC算法的多标记学习是有效的。     

基于标记权重和mRMR的多标记特征选择

在多标记学习中，现有的最大相关最小冗余（maximum Relevance and Minimum Redundancy, mRMR）算法未充分考虑标记之间以及特征与标记之间的相关性，导致算法分类性能偏弱。文章结合标记权重改进了mRMR算法，提出一种新的多标记特征选择方法。首先，基于标准互信息计算标记与标记之间的关联度，使用每个标记与标记集关联度占所有标记与标记集之间关联度之和的比例，定义标记权重，结合关联度与标记权重构建新的最大相关性公式，进而建立新的mRMR计算公式，使用mRMR算法获取最初的候选特征子集；然后，计算特征与标记之间的标准互信息并结合标记权重，定义特征与标记集之间的相关度，从最初候选特征子集中进一步剔除冗余特征，筛选最优特征子集；最后，设计了一种标记权重和mRMR的多标记特征选择算法。在8个多标记数据集上进行仿真实验，实验结果表明该算法能够有效提高多标记数据的分类性能。     

基于Biased-SVM的非平衡半监督分类算法

针对非平衡数据的半监督分类问题,提出了一种基于Biased-SVM的非平衡半监督分类算法.该方法首先利用初始的标记样本集训练处理不平衡数据的Biased-SVM模型,然后用训练好的Biased-SVM模型为未标记样本加上标签,再把新标记样本加入到初始标记样本集中,重新训练Biased-SVM模型,最后在测试集上进行测试.选取公共数据库里的一些数据集进行实验,首先在两类不平衡数据集上实验的结果表明,在标记样本所占比例为20%~80%时,所提方法能够在不降低数据集整体G-mean值的基础上,提高小类的F-value值并具有较高的稳定性;然后在多类不平衡数据集上实验的结果表明,在标记样本所占比例为20%~80%时,所提方法能够在不降低数据集整体的EG-mean值的基础上,提高小类识别率并具有较高的稳定性.     

基于互信息的Fisher Score多标记特征选择

目前，Fisher Score模型在处理多标记数据时没有考虑样本和整个特征空间之间以及特征和标记之间的关系.提出一种基于互信息的Fisher Score多标记特征选择方法 .首先，在多标记决策系统中考虑整个样本空间对特征选择的影响，根据异类样本与同类样本之间的欧式距离定义权重公式，并在特征空间下对标记赋予权重衡量标记的重要程度.然后，基于互信息理论定义特征与每个标记之间的互信息来计算每个特征和每个标记之间的相关度，将特征与标记之间的相关度与该标记所占的权重相结合来定义特征和标记集之间的总相关度.将Fisher得分与总相关度结合，定义每个特征的新的Fisher得分，进而构建多标记Fisher Score模型.最后，设计了一种基于互信息的Fisher Score多标记特征选择算法.在六个多标记数据集上的实验证明，提出的算法与其他算法相比，其四种评价指标都表现良好，分类性能出色.     

基于模糊概念相似性与模糊熵度量的模糊分类算法

在AFS(axiomatic fuzzy set)理论框架下,提出了一种基于模糊概念相似性与模糊熵度量的分类算法.模糊分类规则的前件通过概念聚合得到,一种基于模糊概念相似性与模糊熵度量的概念选择函数指导聚合过程;然后,利用剪枝算法对得到的模糊规则集进行剪枝,得到最终的分类规则集.用8组来自UCI数据库的数据集作为实验数据对算法进行验证,并与7种经典分类方法进行比较.实验结果表明该算法能得到较高的分类精度,分类结果明显优于参照的分类方法.     

基于深度置信网络的车辆交通流预测

提出了一种新的基于深度置信网络的交通流预测方法,利用深度置信网络良好的训练和预测性能,能够很好地学习时序数据集的内部特征,从而准确地预测交通数据流.为了验证算法的有效性,在PeMS数据集上对算法进行了实验测试,并同其他相关预测和分析方法进行了比较,实验结果表明新算法具有较好的预测性能.     

基于数据模糊性的PU学习研究

PU学习是指从正例样本和无标记样本中训练分类器的一种学习方法.针对传统PU学习中所含初始正例过少,难以有效地从无标记样本中选出可靠负例,且分类过程易受噪声点影响等问题.本文提出了一种基于数据模糊性来提取无标记样本中有效信息的PU学习方法:先对正例无标记样本集进行半监督聚类,选出靠近正例样本的低模糊度数据来扩充初始正例集,并选择远离正例样本的低模糊度数据作为可靠负例;再剪辑掉无标记样本中高模糊度数据;最后在扩充后的正例样本集和可靠负例集上训练分类器,对初始无标记样本集进行分类.在标准数据集上的对比实验证实了提出算法的有效性.     

基于邻域粗糙集的多标记属性约简算法

在多标记学习中,属性约简是解决多标记数据维数灾难的一个关键技术.针对邻域粗糙集属性约简在计算正域代价较大和多标记数据中标记具有不同的强弱性问题,提出了基于邻域粗糙集的多标记属性约简算法.该算法首先利用样本在整个属性空间下到其异类样本的平均距离与到其同类样本的平均距离的差值对标记进行加权;其次,利用取整函数对样本空间进行划分,提出了一种新的多标记邻域粗糙集快速计算正域的方法;最后,根据前向贪心搜索算法进行属性约简,以获得一组新的属性排序.实验给出了5个多标记数据集在4个评价准则上的对比结果,实验结果分析表明了所提算法的有效性.     

一种解决命名实体识别数据集类别标记失衡的方法

命名实体识别研究中常见的公开数据集普遍存在数据类别标记不平衡的问题,限制了基于统计学习模型方法性能的进一步提高.针对上述问题,提出了基于遗传算法的数据类别标记平衡方法.该方法基于原始数据集中已有的标记数据,通过修改遗传算法中的指标适应度函数和基因组合规则,合成类别分布均衡的文本用以扩充原始数据集,降低标记数据不平衡性从而改善命名实体识别的效果.为验证该方法的有效性,采用Bi-LSTM-CRF模型分别基于CoNLL 2003及JNLPBA数据集设计了该方法与平衡欠采样、随机过采样方法的对比实验.从实验中发现,提出的方法在CoNLL2003数据集上模型召回率提高3.26%,F_1值提高1.70%;在JNLPBA数据集上召回率提高2.44%,F_1值提高1.03%.实验结果表明,提出的方法能够有效地缓解类别标记失衡问题达到提高命名实体识别效果的目的.     

一种基于基尼指标的高维数据离群挖掘算法

针对高维数据集中的离群点挖掘任务,给出了一种基于基尼指标和属性相关性分析的高维数据离群点挖掘算法.该算法首先采用属性相关性分析方法,删除高维数据集中的冗余属性,缩减了数据集的大小;其次采用基尼指标作为离群度量因子,从缩减后的数据集中,挖掘出不同离群程度的数据点;最后,实验采用天体光谱数据作为实验数据集,经实验验证,该算法对高维数据集中离群点的挖掘算法是有效的和可行的,其效率得到了明显的提高.     

基于ReliefF和最大相关最小冗余的多标记特征选择

针对现有的特征选择模型未涉及特征和标记集之间的相关度，造成分类精度偏低等情况，提出了基于ReliefF和最大相关最小冗余(maximum Relevance and Minimum Redundancy, mRMR)的多标记特征选择.首先，运用互信息计算每个标记和标记集之间的相关度，使用每项相关度占其相关度之和的比例设计了标记权重，由此构建了特征和标记集间的相关度，初选与标记集相关度高的特征；其次，计算对象在特征上的距离，构建了新的特征权值更新公式，基于标记权重改进多标记ReliefF模型.然后，基于互信息和标记权重构建了最大相关性，设计了最小冗余性及其新的最大相关最小冗余评价准则，并将其应用于多标记特征选择，进一步剔除冗余特征；最后，设计了一种基于ReliefF和最大相关最小冗余的多标记特征选择算法，有效提高了多标记分类性能.在8个多标记数据集上测试所提算法的平均分类精度、覆盖率、汉明损失、1错误率和排序损失，实验结果证明了该算法的有效性.     

一种新的选择集成算法

针对一般的选择性集成学习算法在选择分类器阶段需要独立设置验证集因而损失了一定的训练数据的缺点,提出了一种新的选择性集成分类算法FPSE,该算法采用一种基于排序的策略,这种策略在选择阶段就存在速度上的优势;其优势在于不必独立设置验证集,而采取一种将个体选择评估融入在原始数据本身的方法.实验验证了FPSE算法在个体评估策略的有效性,以及较好的泛化性能;对比试验说明了该算法的分类预测表现要优于Bagging算法和AdaBoost算法.     

数据挖掘中关联规则算法的研究及应用

针对Apriori和AprioriTid算法中存在的项集生成瓶颈问题,提出了一种基于事务集压缩、候选项集压缩和支持度布尔矩阵的改进AprioriTid算法.该算法中通过删去不必比较的事务来有效缩减数据集;优化频繁项集的自连接方式来减少生成的候选项集个数;使用支持度布尔矩阵来加快候选项集的验证速度.实验结果表明改进算法比原算法执行效率明显提高,同时也验证了该算法在油液监测故障诊断中的有效性.