一种基于禁毒情报相似度计算的中文文本分析算法

为解决禁毒情报分析中缺乏对文本信息处理和利用的有效手段的问题,提供一种基于禁毒情报相似度计算的中文文本算法。结合禁毒领域的业务需求,对禁毒情报相似度进行计算分析;对统计分词方法进行改进,首先分词后进行停用词处理,然后用户可以自定义词典的同时自定义词性,最后通过正则表达式提取案发时间等信息。还手动扩充了用户词典,加入了物品库,地址库等,分词的结果有了很高的提升;用涉毒案件作为实例计算相似度,证明了本算法的可用性,符合预期的效果,这为禁毒情报线索、警情及案事件等各类线索的碰撞、多点聚焦以便及时发现有价值的涉毒线索从而达到提前预警的目的建立了基础。     

基于加权语义网的改进文本相似度计算方法

为了提高特征词权重和文本语义相似度计算的精确性,文章提出了一种基于加权语义网的改进文本相似度计算方法。该方法首先以特征词为节点,以特征词窗口共现原理创建边,以频率-逆文本频率(term frequency-inverse document frequency,TF-IDF)值作为特征词节点的初始权值,融合共现频率和概念语义距离自定义边权重计算方法,构建加权文本语义复杂网络。然后使用语义网络中特征词综合特征指数排名靠前的m个词组成特征向量,利用搬土距离(earth mover's distance,EMD)衡量两个文本间的语义相似度。最后基于公开数据集对文本进行聚类实验,实验结果表明,在基于F1度量值标准上文章提出的方法要优于传统的文本相似度计算方法。     

一种基于打分机制的文本相似度匹配算法

本文借用语音识别技术读取用户输入口令,对用户口令和机器指令分别进行分词处理并建立字典向量,字典向量都以用户口令中的文字作为键所以具有相同的维度,在向量的基础上对用户口令和机器指令进行夹角余弦计算以实现对机器指令的第一次打分;第二次打分则是在第一次打分的基础上进行,因为如果当用户口令和机器指令在所包含文字上已经相似,则有必要对文字的排列顺序做一个考察。本文通过提取用户口令中文字的关系对并与机器指令相比较的方式对机器指令进行一个顺序打分,最终挑选出文字与排序都与用户口令最相似的机器指令。     

一种基于改进相似度计算的文本聚类方法

针对文本在聚类或分类时,由于数据高维稀疏导致相似度值低的问题,提出一种基于改进文本相似度计算的聚类方法.首先,利用向量空间模型VSM表示文本,采用余弦函数计算文本之间的相似度;然后,基于网络中节点的相似性传播原理,通过设置阈值找到与各个文本相似度较大的文本集合,进而使用Jaccard系数将两个文本之间相似度计算转化为两个文本集合之间的相似度计算;最后根据得到的文本相似度矩阵,利用谱聚类算法对文本进行聚类.在WebKB上的实验结果表明,与传统的K-means、谱聚类方法相比,该方法提高了聚类的准确度,召回率与F值.     

基于事件的文本相似度计算

大量研究成果已经表明,事件在很多文本中是客观存在的.从语义的角度理解,诸多文本是由事件组成的,事件是文本表示的最小语义单位.给出了基于事件的文本表示模型,在此模型的基础上,从文本类型相似度计算和文本内容相似度计算两个层面论述了文本相似度计算的方法.     

一种基于文本相似度的网页新闻标题自动抽取算法

随着互联网技术的发展,网页新闻的标题抽取已经成为了信息抽取和网络爬虫中不可避免的一个环节﹒通过分析,发现目前已有的方法存在准确率和通用性无法共存的问题﹒因此,提出了一种基于文本相似度的网页新闻标题自动抽取算法,它通过结合目录型新闻网页的外部标题来抽取详情型新闻网页的真实标题﹒试验结果表明,相对现有方法来说,新算法具有较好的通用性且平均F1值达到了97.58%﹒     

一种基于加权共同邻居相似度的局部社区发现算法

传统的社区发现算法能够找出网络中所有的社区,其时间复杂度取决于网络的规模.挖掘大网络中的全局社区结构因为时间复杂度高而难以实现,局部社区发现作为一种不需要知道网络的整体结构,从给定的节点逐步向外扩展,寻找该节点所在社区的方法,在大网络时代具有重要的应用意义.目前这方面的研究已经获得广泛关注,并提出了很多局部社区发现算法.针对已有局部社区发现算法需要人工设置参数、准确率低的问题,提出一种新的局部社区发现算法.首先,提出一种加权邻居节点的共同邻居相似度指标,用于计算网络中两个节点间的相似度;然后,基于该相似度指标,给出一种新的局部社区质量度量指标,在保证社区度量指标不下降的前提下,不断选择与当前局部社区嵌入度最大的节点加入到局部社区,逐步找出给定节点所在的社区;最后,在真实网络和仿真网络数据集上进行了实验.实验结果表明,该算法能有效地挖掘出给定节点所在的局部社区,相比具有代表性的Clauset,LWP,GMAC等局部社区发现算法有更高的准确率.     

基于深度学习的文本相似度计算

提出了一种基于改进堆叠自动编码器提取低维度句子特征的方法,同时采用自动编码器的降噪技术以增加鲁棒性和表达能力。接着用提取的特征计算文本间句子的相似度并组成相似矩阵,用对应的文本生成文本特征矩阵,然后分别通过对应的深度卷积网络训练并提取特征。最后用特征融合技术将两个深度卷积网络提取的特征融合,经全连接的多层感知机计算相似度。实验结果证明,提出的方法能够表达句子的语义特征和文本的上下文特征,有效提高文本相似度计算的准确度。     

基于锚文本相似度的链接算法

对链接算法在搜索引擎检索结果排序中的应用进行研究,提出基于Page Rank和锚文本对检索结果进行二次排序,合理评价网页重要程度.实验结果表明,该方法在一定程度上能提高检索效果.     

一种改进的本体概念相似度计算算法

概念相似度研究是知识表示以及信息检索领域中的一个重要内容。根据概念之间错综复杂的关系,可将本体结构看成一个有向无环图。从多个角度出发考虑各种影响有向边权重的因素,通过计算有向边在本体层次图中的相对重要性计算本体中任意两概念的语义距离,由此得到它们的语义相似度。实验结果表明:该方法具有很高的效率。     

基于语义理解的文本相似度算法

相似度的计算在信息检索及文档复制检测等领域具有广泛的应用前景.研究了文本相似度的计算方法,在知网语义相似度的基础上,将基于语义理解的文本相似度计算推广到段落范围,进而可以将这种段落相似度推广到篇章相似度计算.给出了文本(包括词语、句子、段落)相似度的计算公式及算法,用于计算两文本之间的相似度.实例验证表明,该算法与现有典型的相似度计算方法相比,计算准确性得到提高.     

文本案例相似度计算方法

目的针对常用的向量空间模型忽视了文本中的词序和结构信息,影响文本相似度计算的准确度的缺点,提出新的文本案例相似度计算方法。方法将文本表示粒度由词提高到句子,加入词序信息。结果提出了句子向量空间模型及基于该模型的文本案例相似度计算方法。结论这种方法更符合人类理解的模式,提高了文本案例相似度计算的准确度。     

基于句向量的文本相似度计算方法

为进一步提高文本相似度计算的准确性,提出基于句向量的文本相似函数(part of speech and order smooth inverse frequency, PO-SIF),从词性和词序方面优化了平滑反频率(smooth inverse frequency, SIF)计算方法,SIF算法的核心是通过加权和去除噪声得到句向量来计算句子相似度。在具体计算时,一方面通过增加词性消减因子调节SIF句向量计算权重参数,获得带有词性信息的句向量,另一方面通过将词序相似度与SIF句向量相似度算法进行线性加权优化句子相似度得分。实验结果表明,增加词性和词序的方法可以提升算法准确率。     

一种基于样本加权的位置文本排序算法

为有效解决元搜索引擎结果排序的问题,提出了一种基于样本加权的位置文本排序算法。分析了现有基础算法,并在充分考虑结构信息的基础上将记录的PageRank值转化为权值。结合文本信息及其在结果列表中的位置信息实现局部相似度的调整,对排序位置的相关分值进行了规范化处理。对摘要排序算法进行了改进,提出了查询词条匹配度和词条间关联度的概念。最后将各相关分值进行合并得到搜索结果的最终相关度。实验结果表明该方法的可行性和有效性。     

一种计算冲压零件轮廓相似度的快速算法

为了适应网络应用对轮廓相似度计算在速度和数据传输量方面的要求,文中提出了一种非离散的快速算法,该算法采用直线和圆弧来表达轮廓曲线．在对图形进行范化处理后,将待匹配轮廓按照一定步距进行旋转．然后依次以待匹配轮廓或目标轮廓作为模板,计算模板的所有顶点与其在另一个轮廓中对应点的距离平方的平均值．在所有角度中,平均值之和的最小值即为两个轮廓的匹配度．该算法同时适用于凸多边形和凹多边形,并具有较好的区分度和匹配准确性．和以往的离散方式相比,该算法减少了需要传递的数据量．提高了运算速度．     

一种基于义原重合度的词语相似度计算

通过分析知网中的义原关系,认为在同一棵树中两个相等距离的义原,公共节点对相似度大小起着决定性作用;距离根节点越远,分类越细致,描述的信息越详细;它们的相似度也就越大.提出了一种基于知网的相似度的计算方法,定义了知网义原间的相似度公式.实验表明,利用本文方法计算词语相似度,所得结果在一定程度上更加与人的直观相符.     

计算文本相似度阈值的方法

基于VSM(向量空间模型)的相似度分类器的相似度阈值通常由经验确定导致分类精度不高。该文提出一种基于Boosting机制在不同文档集上自动计算相似度阈值的方法。它利用Boosting迭代生成多个基于相似度划分的子分类器,通过加权把决定这些子分类器的相似度阈值组合起来,得到对理想相似度阈值的一种逼近。实验表明:这样得到的相似度分类器的平均精度比传统方法高15%左右,甚至可以与一些复杂方法相比。它在处理网络实时文本信息处理问题(分类、过滤和检索)中的效率是这些复杂方法的3倍以上,且问题规模越大、越复杂,其优势越大。     

一种基于Tree-LSTM的句子相似度计算方法

在浅层句法树和依存关系树的基础上, 提出两种结构化特征: 基于短语的浅层句法树NPST和基于短语的依存树NPDT, 并将它们与Tree-LSTM模型相结合, 进行句子相似度计算。实验表明, 使用结构化特征和Tree-LSTM会带来性能的提升。     

一种基于字符串模型的轨迹相似度计算

建立字符串轨迹模型,利用双层结构进行建模,有效减少了表征轨迹时需要使用的字符总数。对LCS进行改进,使之适用于该模型,从而提高了计算轨迹间距离的精度。通过比较,改进的距离计算方法与多维向量组轨迹模型下距离计算方法的计算时间,作为衡量计算速率的标准。利用多维标度技术(MDS)将得到的距离矩阵映射到二维空间中,通过人工标识MIT停车场行人路径数据,计算类间、类内距离的均值和方差,衡量距离计算方法的精度。最后通过路径数据中的四类典型问题,验证本文设计的方法在解决实际问题中的能力。实验表明,改进LCS应用于双层字符串轨迹模型,在时间消耗上最优,精度最高,能很好的解决四类典型问题。