基于NewTF-IDF的新闻文本特征提取算法研究

由于新闻文本种类较多、内容繁杂,为更好地提取文本主题特征词,提出了一种新的特征提取算法NewTF-IDF.传统的TF-IDF算法仅仅以逆文档率对词频进行加权,忽略了词性、词频、词位置、词跨度等其他方面的因素对词语信息量的影响,忽略了词语在不同文档中的分布对关键词重要度的影响.NewTF-IDF算法对TF-IDF算法做了多组合特征因子和离散度两个方面的改进,使特征词的加权方式更加科学.实验证明,NewTF-IDF算法在特征词提取方面具有更好的性能.     

基于同义词词林的中文文本主题词提取

中文文本主题词的提取可以浓缩一篇文章,可以提炼一个中文网页,还可以帮助实现网上广告与网页的精确匹配。提出了一种基于同义词词林的中文文本主题词提取方法,不仅考虑了传统的影响主题词语权重的因素,还考虑到了同义词、相关词以及下位词的出现对于词语权重的影响。实验表明,用该方法对中文文本     

基于语义簇的中文文本聚类算法

针对中文文本聚类受语义、 语法、 语境等因素的影响, 在使用传统向量空间模型向量化表征后, 文本向量之间相互独立, 语义关系被忽略, 影响聚类分析结果的问题, 提出一种基于语义簇的中文文本聚类算法. 该算法根据词共现的原理和语义相关性, 首先使用词频-逆向文档频率(TF-IDF)方法求得特征词权重, 利用特征词的搭配向量构建语义簇； 然后使用特征词及其搭配词的权重, 将特征词向语义簇中心进行空间变换, 求得嵌入语义信息的文档向量； 最后利用文档向量进行K-means聚类分析. 实验结果表明, 该向量化表示方法, 能有效提高文本向量对文本语义的逼近能力, 同时可提高文本聚类结果的准确率和召回率.     

基于语义簇的中文文本聚类算法

针对中文文本聚类受语义、 语法、 语境等因素的影响, 在使用传统向量空间模型向量化表征后, 文本向量之间相互独立, 语义关系被忽略, 影响聚类分析结果的问题, 提出一种基于语义簇的中文文本聚类算法. 该算法根据词共现的原理和语义相关性, 首先使用词频-逆向文档频率(TF-IDF)方法求得特征词权重, 利用特征词的搭配向量构建语义簇; 然后使用特征词及其搭配词的权重, 将特征词向语义簇中心进行空间变换, 求得嵌入语义信息的文档向量; 最后利用文档向量进行K-means聚类分析. 实验结果表明, 该向量化表示方法, 能有效提高文本向量对文本语义的逼近能力, 同时可提高文本聚类结果的准确率和召回率.     

基于知网语义相似度计算的特征降维方法研究

针对文本分类处理中的高维度问题,结合知网语义词典,提出了一种新的特征降维处理方法.通过计算特征词汇之间的语义相似度,将原有特征集分成若干特征词集;同一词集内的特征词语义彼此间相似;而不同词集的特征词彼此间相似度比较小.将同一特征词集内的词汇权重相加,从而突出同义词以及近义词对文本分类的贡献,并可以大大降低文本比较的特征维数.实验结果表明,利用该方法在文本分类中得到了较好的分类准确率和分类性能.     

基于TF-IDF方法融合生物医学同义词的相似度计算方法

科技文献资料之间的相似度计算可以帮助人们从中挖掘更多的科学知识。但是科技文献资料中的复杂的同义词关系却明显地影响了相似度的准确性。尤其在计算生物医学科技资料时其准确度常常受到领域专业词汇的影响而降低。因此本文提出了一种基于TF-IDF方法结合生物医学同义词的文本相似度计算方法。该方法首先识别生物医学专业词汇及其同义词关系并建立同义词库,之后根据同义词权重规则修改TF-IDF中更能体现文本特征的权重值,最后计算文本的相似度。实验表明该方法有效提高了生物医学文本相似度计算的稳定性和准确度,是一种相较于传统TF-IDF更为有效的文本相似性计算法。     

燃气客服热线的中文文本情感分析

提出了一种基于TF-IDF的均值Word2vec模型和有监督的机器学习方法的燃气客服热线的中文文本情感分析方法。首先,采用Word2vec模型训练出文本中每个词语的词向量及TF-IDF算法计算文本中每个词语的权重,并对词语的词向量进行加权处理。其次,将加权后的词向量对应维度的值进行累加并求均值作为该文本的向量,即文本的特征。最后,对文本的特征使用有监督的机器学习方法进行训练和预测,以实现文本的情感分析。实验结果表明,该方法获得了较高的分类准确率并能有效地进行情感分析。     

基于双粒度模型的中文情感特征词提取研究

为了能够快速准确地提取出海量文本信息中的情感特征词,提出从情感词语集中通过人工筛选得到种子词并对其情感强度赋值,同时,以这些种子词为基准计算出情感词语集中其他词语的情感强度值,从而得到各特征词在词语级及句子级的倾向性贡献度值。然后,将特征词在词语级、句子级这2种不同粒度情况下计算出的情感倾向性贡献度值有机结合起来,构造出基于双粒度模型的中文情感特征词提取模型。该提取方法考虑了特征词在词语级和句子级2个方面的情感倾向,使最终提取出的情感词的准确率得到了提高。实验表明,只要有一个全面的情感词典系统和一组准确恰当的种子词,提出的方法可以获得良好的准确率和召回率。     

文本自动摘要提取算法

摘要是对文本内容的概括,在信息检索中起着重要的作用,提出一种文本自动摘要提取算法：按照词语权重提取出能表征文本主要内容的特征词,根据句子的物理信息以及句子中包含的特征词情况计算出句子的权重,按照句子权重大小等提取出候选摘要句.     

基于加权语义网的改进文本相似度计算方法

为了提高特征词权重和文本语义相似度计算的精确性,文章提出了一种基于加权语义网的改进文本相似度计算方法。该方法首先以特征词为节点,以特征词窗口共现原理创建边,以频率-逆文本频率(term frequency-inverse document frequency,TF-IDF)值作为特征词节点的初始权值,融合共现频率和概念语义距离自定义边权重计算方法,构建加权文本语义复杂网络。然后使用语义网络中特征词综合特征指数排名靠前的m个词组成特征向量,利用搬土距离(earth mover's distance,EMD)衡量两个文本间的语义相似度。最后基于公开数据集对文本进行聚类实验,实验结果表明,在基于F1度量值标准上文章提出的方法要优于传统的文本相似度计算方法。     

一种改进的朴素贝叶斯文本分类方法

朴素贝叶斯分类器是一种简单有效的文本分类方法.改进方法利用同义词对文本的特征词集进行过滤,在一定程度上放松了朴素贝叶斯的特征独立性假设;在特征选择时迭代了2种不同的特征选择方法,有效地提高了特征集的代表性.实验结果表明,本方法有效地提高了朴素贝叶斯分类器的性能.     

基于支持向量回归和高斯过程回归的水文时间序列特征提取方法

水文时间序列受多种环境因素影响,表现出明显的综合性,传统的利用单一神经网络进行特征提取解释性不足。提出一种基于支持向量回归和高斯过程回归的水文时间序列特征提取方法。首先,罗列水文时间序列候选特征,将特征组合等价于0-1规划,并将各特征组合分别进行支持向量回归与高斯过程回归建模;其次,利用遗传算法演化求解一组最优特征组合,使得支持向量回归和高斯过程回归输出误差同时最小;最后,为了证明所提方法的高效性与准确性,以屯溪流域水文时间序列数据为对象进行验证。实验结果表明,基于支持向量回归和高斯过程回归特征提取方法的水文时间序列预测结果优于传统神经网络特征提取方法。     

加权贝叶斯线性B细胞表位特征提取方法

特征提取方法对线性B细胞表位预测起到非常重要的作用,但贝叶斯特征提取方法忽略了氨基酸之间的相互关系.为了更准确地描述表位序列的关系,提出一种基于氨基酸对量表加权的贝叶斯特征提取方法,该方法对单个氨基酸在序列分布的基础上充分考虑了氨基酸之间的关系,并使用支持向量机作为分类器进行分类.在El-Manzalawy,Saha数据集上的测试表明改进的贝叶斯特征提取方法.相比传统的贝叶斯特征提取方法,提取精度有一定的提升.     

一种面向医学短文本的自适应聚类方法

针对电子病历中疾病诊断文本同义词识别和命名标准化问题,提出了一种自适应的文本聚类方法.首先提出了一种新的基于集合的文本相似性度量算法;然后采用基于相似度分布的文本聚类算法实现同义文本识别,该算法能够自动确定类簇个数;最后采用基于序列模式的中心概念提取算法实现了疾病命名的标准化,同时对聚类簇进行合并和优化,进一步提升了聚类的准确性.测试结果表明,所述方法具有较高的准确率和聚类效率,在病历文本的预处理、分类和分析中具有广泛意义.     

基于邻域粗糙集的文本主题特征提取

LDA主题模型是一种有效的文本语义信息提取工具,利用在文档层中实现词项的共现,将词项矩阵转化为主题矩阵,得到主题特征;然而在生成文档过程中会蕴含冗余主题。针对LDA主题模型提取主题特征时存在冗余的不足,提出一种基于邻域粗糙集的LDA主题模型约简算法NRS-LDA。利用邻域粗糙集构造主题决策系统,通过预先设定主题个数,计算出每个主题的重要度;根据重要度进行排序,将排序后重要度低的主题删除。将提出的NRS-LDA算法应用于K-means文本聚类问题上并与传统的文本特征提取算法及改进的算法进行比较,结果表明NRS-LDA方法可以得到更高的聚类精度。     

基于注意力机制的多尺度仪表检测

为实现复杂场景下多尺度仪表检测,提出了一种基于注意力机制的视频多尺度仪表检测算法。首先,利用基于空间注意力机制的特征提取网络,建模特征的长距离依赖,增强特征的表达能力;其次,提出了一种自适应特征选择模块（Adaptive Feature Selection Module, AFSM）,对不同阶段的特征图进行权重调整,增强网络对多尺度目标的检测能力。在自建的仪表数据集上进行了实验。实验结果表明,相比较原来的Faster RCNN方法,所提出方法的检测精度提高了7.6%;与对比方法相比,检测精度也能达到95.4%。在对实际仪表监测视频的测试中,检测结果以及速度能够满足实际需要。所提方法通过改进特征提取网络和特征选择操作,增强了特征表达能力,有效降低了虚警,提升了网络对多尺度目标的检测性能。     

Forstner特征点分类和精确定位方法探讨

针对无人机影像空三处理对特征点定位精度要求高的问题,基于Forstner点特征提取算子探讨一种Forstner特征点分类和精确定位方法。首先利用一定的方法判定Forstner特征点的类别(即角点、圆点、中间点中的一种),然后根据该特征点的类别进行精确定位。通过对一组无人机数据进行实验,试验表明:相比Forstner算子的初步定位,精确定位的特征点精度显著提高。     

一种基于压缩感知和小波信息熵的滚动轴承特征提取方法

为降低滚动轴承在线监测和故障诊断过程中振动信号采集、传输、存储和处理负担,基于压缩感知理论和小波包分析技术,提出一种基于压缩感知和小波信息熵的滚动轴承特征提取方法,用于滚动轴承故障诊断。应用部分哈达玛矩阵采集振动信号实现压缩,通过小波包分解提取滚动轴承状态特征,计算其小波信息熵作为故障诊断特征。在标准数据集上进行振动信号特征提取,并采用四种分类方法完成故障诊断实验,结果表明本文特征提取方法能够在较高的数据压缩率条件下,保持较高的故障诊断精度,适用于滚动轴承在线监测和故障诊断。     

基于特征相关学习的网页信息提取方法

为了给出网页信息提取方法的数学形式化的理论分析,首先用一维空间域的信息函数来表示网页信息,并通过分析网页过滤过程,推导出网页信息过滤定理.然后通过分析网页的相似性,推导并提出一种基于相关过滤的网页特征信息的提取理论.在这个理论基础上,融合基于标识规则和基于内容规则的两种方法,提出一种基于特征相关学习的网页信息提取方法.导出的特征提取理论和实验结果表明这种方法具有较好的准确率.     

基于不完全树结构小波变换及FKCN 的纹理分割

提出了一种新的不完全树结构小波变换用于纹理特征提取，提出了一种与人类视觉过程相一致的多分辨率多通道纹理分析方法，它由(1)特征提取：使用不完全树结构小没变换抽取纹理特征；(2)基于模糊Kohonen聚类网络的特征粗分类：使用缩减的特征向量对网络进行训练，得到粗分割结果；(3)粗分割结果的细化等几部分构成。实验结果证明了本方法的有效性。