基于短文本扩展和特征融合的市民热线文本分类

针对市民热线多为短文本和特征稀疏的特点。提出了一种短文本扩展法和基于双通道特征融合的文本分类（BERT-BiGRU-TextCNN,BGTC）模型,实现了对市民热线文本的自动识别与归类。首先使用TF-IWF模型以及LDA主题模型构建核心词库;然后利用Word2Vec计算词语相似度,完成对短文本内容和词向量特征的扩展;最终通过融合BERT-TextCNN和BERT-BiGRU-Attention两个通道特征信息的BGTC模型实现了对扩展后文本的分类。经过多组对比实验,结果表明该方法在市民热线文本分类任务中具有更好的性能,准确率和F1值分别达到了85.6%和85.8%。     

一种改进的频繁集挖掘方法

为了有效解决关联规则挖掘中最关键的一步即频繁集的产生,构造了一个新的频繁树结构,以存储数据库中频繁项的信息,且基于该频繁树给出挖掘频繁集的算法．该方法能够避免重复扫描数据库,避免产生大量的候选集,大大地减少搜索空间．     

一种基于FP-tree的最大频繁项目集挖掘算法

挖掘最大频繁项目集是许多数据挖掘中的关键问题．为克服早期基于Apriori的最大频繁项目集算法中的缺点,相继有多种挖掘最大频繁项目集方法被提出．其中对基于FP-tree的最大频繁项目集挖掘算法比较多,但对FP-tree中的结点的频度计数关注的很少．通过对FP-tree结构进行了仔细分析后,在FP-tree中结点的频度计数和集合理论的基础上,提出了一种新的最大频繁项目集挖掘算法USDMFIA(using set to discover maximum frequent itemsets algorithm)．通过分析比较,显示此算法是有效的．     

一种基于分布式数据库的全局频繁项目集更新算法

在算法FMAGF的基础上，提出了一种基于分布式数据库的全局频繁项目集更新算法－UAGFI，该算法主要考虑最小支持度发生变化时全局频繁项目集的更新情况。UAGFI在最坏的情况下仅须扫描各局部数据库一遍，并利用已挖掘的结果，可避免传送某些原全局频繁项目对应的条件频繁模式树，从而降低网络通讯代价，实验结果表明，UAGFI算法是有效可行的。     

基于准频繁项目集的关联规则挖掘

为减少关联规则挖掘中数据库扫描次数,提出了一种基于准频繁项目集的关联规则挖掘算法———SupposedFrequent,同时给出了候选频繁项目集的产生函数———BGen.最后通过实验证明:在给定最好的准频繁项目集的条件下,只需扫描数据库两次就能产生全部的频繁项目集。     

基于频繁闭项目集的关联规则挖掘算法

提出一种有效的基于频繁闭项目集的关联规则挖掘算法RIFCI．该算法采用挖掘频繁项目闭集取代传统的频繁项目集，同时在项目集和事务集中展开搜索．通过对UCI机器学习库中10个数据集的测试，与工业标准C4.5比较，错误率低于19．48％，在准确度不变的情况下，生成规则数目低于传统算法，提高了算法的效率．     

基于特征项扩展的中文文本分类方法

提出了一种基于特征项扩展的中文文本分类方法.该方法首先对文档的特征词进行分析,然后利用HowNet抽取最能代表主题的特征义原,接着根据这些义原对特征项进行扩展,并赋予扩展的特征项适当权值来说明其描述能力.最后利用扩展的特征项集提取特征进行分类.该文重点研究了如何抽取特征义原,如何给扩展项设定一个合适的权值.实验证明,该文方法能增加有效的特征项的数目,使分类正确率和稳定性均得到提高.     

基于半监督学习的短文本分类方法

随着万维网的快速普及和发展,Web上出现了大量短文本,如科技文献摘要、微博和电子邮件等.短文本内容短小,相互联系,已标注数据获得困难,导致传统分类方法很难取得较高的分类精度.为了解决短文本分类问题,提出了一种基于半监督学习的迭代分类算法(SS-ICA).它使用较少的已标记数据,利用短文本间的关系进行迭代分类.通过与常用分类方法进行对比表明,在标注数据较少的情况下SS-ICA比其他分类器有更高的分类精度.     

一种改进的频繁项目集挖掘算法

针对Apriori算法需要多次扫描数据库以及可能产生庞大候选集的瓶颈问题,提出了一种改进的频繁项目集挖掘算法,该算法仅通过一次数据库的扫描生成一个链表,以比特位的方式存储项目在事物数据库中出现的位置,并在不产生候选集的基础上通过逻辑运算与集合运算的直接生成频繁项目集。经过实例分析,结果表明该算法相对于Apriori算法,能够在保证准确率的基础上拥有更低廉的代价。     

基于数组的频繁项目集的挖掘算法

挖掘关联规则是数据挖掘研究的一个重要方面．然而，目前提出的算法仍存在一些问题，如复杂的数据结构、大量的候选频繁项目集生成等等．本文提出使用了一种简单的数据结构——数组，并提出了基于数组的一种新的频繁项目集的挖掘算法．     

一种用于加快发现频繁项目集的预处理策略

分析了Apriori算法关于发现频繁项目集的方法及其效率,提出了一种基于无向项集图的预处理策略,用于加快频繁项目集的生成过程。采用预处理策略的Apriori算法（UIG-Apriori算法）加快了频繁项目集的发现效率,改善了算法的性能。     

基于高阶项目集的频繁项目集发现算法

为了提高关联规则数据挖掘的效率,在研究Apriori算法原理和相关文献的基础上,提出了一种基于高阶项目集的频繁项目集发现算法.本算法不同于逐层迭代的搜索方式,而是采用从求解所有的高阶频繁m-项目集入手的方式,来发现隐藏在事务数据库中的频繁项目集.本算法避免了大量的候选项目集的产生,并且对数据库仅需进行有限次数的扫描,从而体现了算法的高效性.     

基于集合运算的频繁集挖掘优化算法

挖掘关联规则是数据挖掘中一个重要的课题,产生频繁项目集是其中的一个关键步骤。 提出了一种基于集合运算的频繁项目集挖掘算法,并将该算法与经典算法Apriori进行比较。该算法只需要对数据库扫描一遍。实验表明该算法的效率较好。     

频繁闭项目集更新算法

挖掘频繁闭项目集是数据挖掘领域中的一个重要研究方向,人们已提出了许多用于高效地发现大规模数据库中频繁闭项目集的算法,但对其更新维护问题的研究却比较少.在分析了频繁闭项目集更新算法关键技术的基础上,提出一种快速的增量式频繁闭项目集更新算法FUFCIA(fastupdating frquent closed itemsets algorithm),该算法将充分利用先前挖掘过程中所产生的信息来节省发现新的频繁闭项目集的时间开销,降低了候选频繁闭项目集的规模,减少了扫描数据库的次数.最后对该算法进行分析和讨论,并进行试验验证,试验结果表明算法FUFCIA是有效的.     

基于FP-tree最大频繁模式超集挖掘算法

数据挖掘应用中的最大频繁项集挖掘算法大多存在候选项目集冗余问题,造成时间和空间的浪费.针对此问题,通过构造条件FP-tree,对不符合要求的项目进行剪除并对MFIT算法进行改进,提出一种基于FP-tree的最大频繁模式超集挖掘算法.此算法无需产生大量的候选集,同时减少数据集扫描次数,降低数据库遍历时间,提高算法效率.实验证明,此算法在降低候选项目集冗余度的同时有效减少了算法运行时间.     

一种约束最大频繁项目集快速挖掘算法研究

发现约束最大频繁项目集是多种数据挖掘应用中的关键问题.目前已有许多算法可用于发现约束频繁项目集,而对约束最大频繁项目集的挖掘研究工作却很少.因此,需要设计一种高效的算法来挖掘出约束最大频繁项目集.为此,笔者提出了一种快速的约束最大频繁项目集的挖掘算法,并举例说明了该算法的执行过程.     

基于候选最大频繁项目集的关联规则挖掘算法

提高频繁项目集算法的效率是关联规则挖掘研究的一个重点领域 ,就此提出了基于候选最大频繁项目集的关联规则挖掘算法 ,通过实例说明了算法的执行过程 ,并与FP -Tree等其他算法作了比较     

基于词向量嵌入特征扩展的学术报告分类

学术报告讲座的标题属于典型的超短文本,其固有的特征稀疏问题使得在利用传统的文本分类方法对其分类时效果不佳。为解决上述问题,文章基于词向量嵌入技术,对学术报告标题进行特征词扩展。通过控制特征扩展幅度和设置词间相似度阈值,使扩展的特征词与标题特征词的内容相关,并从词性角度进一步考虑词语相似性,过滤无关特征词。实验结果表明,该方法能够有效地提高对学术报告标题短文本的分类效果。     

基于频繁模式树的关联分类规则挖掘算法

构建精确而有效的分类器是数据挖掘和机器学习中的一个重要任务．提出了一种基于频繁模式树的关联分类规则挖掘算法,该算法同时考虑所有属性,并对现有关联分类规则挖掘算法中内存要求高、类别属性处理难、I／O访问次数多等问题提出了相应的解决方案．试验结果表明,该方法可以取得比同样基于关联规则的分类算法CMAR更高的执行效率以及基于规则的决策树分类算法C4．5更好的分类效果．     

基于改进频繁模式树的最大频繁项目集更新挖掘算法

在挖掘最大频繁项目集的过程中,通过改变最小支持度阈值可以挖掘更有用的最大频繁项目集,为此提出了一种最大频繁项目集更新挖掘算法UAMMFI(Updating Algorithm for Mining Maximal Frequent Itemsets)。算法基于改进后的频繁模式树结构,在更新挖掘过程中,不需产生候选项目集和条件模式树,并且充分利用先前已挖掘的最大频繁项目集中包含的信息,快速更新挖掘出最小支持度阈值变化后的最大频繁项目集。实验结果表明,算法能够高效更新挖掘最大频繁项目集。