基于Hadoop的Web文本分类系统设计研究

针对传统Web文本分类方法无法解决大规模分类问题,在深入分析当前主流并行计算平台Hadoop的基础上,提出基于Hadoop的Web文本分类系统,该系统主要包括文本预处理、向量表示、文本分类、结果评价等模块.真实数据集上的比较实验表明所建系统的有效性.     

相似语言文本横向处理的研究

针对电子资源短缺少数民族语言自然语言处理问题,提出了借助于大语言大数据,着重语言的相似性交叉处理的方法.该文在本次试验中利用维哈柯语及蒙古语多文种文本7 854条平行语料,分词单位和短句子单位考查分析了同语族语言以及不同族语言之间、同语系不同语族语言之间的相似程度.引用动态规划(DP)算法定量地获取了语言之间的相似性.实验结果显示:在句子阶段,维哈柯语言其相似度为84.3％,蒙族类语言为81.3％;在词阶段,维哈柯语言相似度可达到91.6％,而蒙族类语言相似度可达到87.8％.另外,同语系而不同语族多语言的相似性较低,在词级单位考查其相似程度不超过10％.     

目标字符串频率变化对WCNB分类器精度的影响

为解决MNB分类器在测试样本变化时分类精度误差较大的问题,采用权重标准补集分类器(WCNB)代替MNB分类器,并研究WCNB分类器对不同测试样本分类精度的变化,针对WCNB技术存在目标字符串变化所产生的权重计数问题,采用目标字符串频率转换技术,建立一种有误差补偿功能的WCNB分类器数学模型并进行了实验仿真. 实验仿真结果验证了WCNB数学模型的可行性.      

不同情境下中文文本分类模型的表现及选择

针对中文文本分类任务中N-Gram,素贝叶斯、K最近邻和TF-IDF等经典而广泛使用的文本分类模型的选择困惑问题,基于万余篇中文新闻文本语料数据,设计了一系列的对比实验,考察了各模型在不同参数、不同训练数据规模、不同训练文本长度、类别是否偏斜等多种情境下分类性能的表现,总结了各模型的特性,为中文文本分类模型的选择和应用提供了实践依据和参考.     

科技文献全文获取的方法与途径

在分析科技文献原文获取存在问题的基础上,列举了通过本地馆藏、馆际文献事零苎享、特定的文献保障系统、直接与文章作者联系、网上电子期刊等多种科技文献全文获取的途径与方法,并介绍了获取全文过程中的一些技巧。     

基于监督学习的HSK阅读文本自动分级模型研究

针对HSK（汉语水平考试）各类阅读材料难度判定与等级对应中缺乏有效参照标准和分析工具的问题,以历年HSK真题阅读文本为研究对象,提取文本可读性特征,采用支持向量机、随机森林、极端梯度增强等9种监督学习算法,建立可将自选文本自动归类于相应HSK等级的模型,采用准确率、AUC等多项指标评价各模型的分级效果,并选择最佳模型制成在线工具。结果表明,监督学习在HSK阅读材料文本分析及分级方面具有较高性能,9种模型中极端梯度增强的分级效果最好,准确率为0.913,AUC为0.994。建立的分级模型和在线工具能够以较高的准确率对HSK自选文本进行分级,帮助用户有针对性地遴选文本,提高学习效率。     

基于STACKING-BERT集成学习的中文短文本分类算法

由于word2vec、Glove等静态词向量表示方法存在无法完整表示文本语义等问题,且当前主流神经网络模型在做文本分类问题时,其预测效果往往依赖于具体问题,场景适应性差,泛化能力弱.针对上述问题,提出一种多基模型框架(Stacking-Bert)的中文短文本分类方法.模型采用BERT预训练语言模型进行文本字向量表示,输...     

施工组织设计文档智慧辅助审查中的文本分类问题研究

施工组织设计是指导工程建设全过程活动的技术、经济和组织的综合性文件,随着自然语言处理(NLP)等人工智能技术的发展,本文针对施工组织设计文档智慧辅助审查中基础性工作之一-文本分类问题开展研究。为实现施工组织设计文本的自动分类,本文运用Word2vec词嵌入技术对文本进行向量化表示,基于Bi-LSTM捕捉文本上下文序列信息,融入Attention机制,提取文本有效信息,采用softmax激活函数分类。Attention Bi-LSTM在房建数据集上达到了0.97的准确率、召回率以及F1值,整体分类效果在正确率、宏平均、加权平均上均优于其他模型。融入Attention机制的Bi-LSTM文本分类模型通过双向捕获文本的特征并利用Attention机制提取有效信息,达到了联合优化的作用,提高了模型的分类性能。     

基于XLNet的双通道特征融合文本分类模型

提出了基于XLNet的双通道特征融合文本分类(XLNet-CNN-BiGRU, XLCBG)模型。相对于单模型通道,XLCBG模型通过融合XLNet+CNN和XLNet+BiGRU这2个通道的特征信息,能提取更加丰富的语义特征。XLCBG模型对融合后的特征信息分别采用了Maxpooling、Avgpooling和注意力机制等处理方式,分别提取全局中特征值最大的向量、全局中的均值特征向量、注意力机制的关键特征来代替整个向量,从而使融合特征处理的方式多样化,使最优分类模型的可选择性增多。最后,将当前流行的文本分类模型与XLCBG模型进行了比较实验。实验结果表明：XLCBG-S模型在中文THUCNews数据集上分类性能优于其他模型;XLCBG-Ap模型在英文AG News数据集上分类性能优于其他模型;在英文20NewsGroups数据集上,XLCBG-Att模型在准确率、召回率指标上均优于其他模型,XLCBG-Mp模型在精准率、F₁指标上均优于其他模型。     

基于边缘的字符串定位算法

为了对强干扰噪声图像中的字符串进行实时的检测定位,该文提出了一种基于边缘的字符串定位算法,它引入了边缘密度图和边缘连接强度两个新的概念。该算法首先通过对边缘密度图进行投影分析进行自顶向下的粗定位,然后在此基础上利用垂直边缘的连接强度进行自底向上的精确定位。新算法有效地克服了噪声的影响,运算复杂度低,因而能够实现对强干扰噪声图像中的字符串的实时定位。采用该算法对集成电路芯片图像中的编号字符串进行定位,实验结果证明其在处理强干扰噪声图像时是有效的。