基于聚类分析的网络舆情监控系统的设计

目的结合中文信息处理技术,设计一个网络舆情监控系统;针对网络舆情挖掘研究中存在的问题,提出了一种K-means改进算法,实现Web挖掘基础上的文本聚类与主题发现。方法构建一个基于聚类分析的网络舆情监控系统,并详细介绍系统各个模块用到的关键技术;提出了一种K-means改进算法,对K-means算法中的关键环节(聚类初始值的选择和孤立点的剔除)进行了改进。结果设计的系统能通过对网页、论坛、博客、新闻评论等网络资源的精确采集,并结合网页净化、中文分词、向量模型建立、特征选择、降维处理,文本聚类等中文信息处理技术,实现对网络舆情的监测;改进算法的总体思路是要求用户输入簇的初始个数k和最大值kmax,由改进算法在计算过程中自动计算出聚类的结果数k。结论设计了一个基于聚类分析的网络舆情监控系统;提出了一种K-means改进算法。具体算法实施及将这些关键技术整合实现成一套自动化的网络舆情信息采集、分析、监测与预警系统,是网络舆情挖掘研究工作的下一步重点。     

基于语境和语义的中文文本聚类算法研究

基于语境和语义的聚类算法,一方面从领域、情景、背景三方面提取特征词,建立语境框架文本特征,另一方面计算关键词TF-IDF权重值,形成关键词VSM向量空间。将两方面得到的特征项分别存储,构造特征空间。分两次聚类,第一次聚类对语境框架文本特征进行聚类,将相同语境的文本归为一类,达到快速聚类的效果。第二次聚类在第一次聚类的基础上,对各语境类内的文本再一次聚类,利用文本关键词向量空间进行语义计算,实现更细致的划分,达到提高聚类精度的目的。     

基于字符串核函数的热点新闻发现系统

随着网络新闻类门户网站的不断增多,如何从纷繁复杂的新闻信息中得到当日热点新闻,为用户提供一个方便的访问界面成为当前主要问题。通过对超文本进行聚类分析从而得到热点新闻,采用字符串核函数(string kerne l)来计算文本相似度,并将其应用到超文本聚类分析中。实验表明字符串核对于超文本的聚类分析有较好效果。     

一个中文全文检索系统的设计与实现

本文主要分析了中文全文检索技术中有关内容,并根据此内容设计实现了一个中文全文检索系统.针对汉语词法的特殊性,在基于词表的全文索引方面,本文应用了一种改进的倒排索引结构,同传统索引结构相比,更便于索引的构建、维护、更新.并根据其特征,设计了优化的查询策略.     

面向网络舆情的文本知识发现算法对比研究

针对网络舆情分析领域,研究了系统聚类、String Kernels、K最近邻算法(K-nearest neighbor,KNN)、SVM(support vector machine)算法以及主题模型5种聚类算法。以网络舆情数据为对象集,以R语言环境为实验工具,比较了这5种算法的优势与劣势,同时进行了仿真实验。实验结果表明,主题模型相对于其他算法在文本聚类方面具有更好的适用性,其中,主题模型中的CTM(correlated topic model)方法更适合于类别关系的探索与发现,而Gibbs抽样方法则在文本聚类上的表现优于CTM方法。     

中文文本检索系统的设计与实现

中文检索是信息产业中发展较快且很重要的领域,在对全文索引进行深入的理论分析基础上,设计实现了基于倒排索引结构的中文文本检索系统.该系统采用词库匹配法对文本文档进行关键词的切分,并对关键词建立索引,最后通过索引实现对关键词的检索.     

基于Lucene的智能答疑系统的研究与实现

在对Lucene现有的中文分词器进行深入分析的基础上,提出了适合中英文处理的分词器.把研究内容应用在网络答疑系统中,建立问题库,利用Lucene对已有的问答进行全文检索,实现了智能答疑的功能.最后设计了一个对搜索出来的问答进行排序的方法,以便提高系统的使用价值和性能,更好地实现智能答疑.     

基于文本挖掘的互联网教育课程主题发现与聚类研究

如何通过有效的数据挖掘对互联网教育平台中的课程主题进行挖掘、聚类是当前互联网教育亟待解决的问题之一。实验基于文本信息对某互联网教育平台的1 472门课程体系的主题分布及类别进行了分析。采集了某平台1 472门课程的描述信息,进而通过自建词典和停用词库对文本进行切词分词,并通过TF-IDF对词频权重进行处理。利用LDA主题模型对课程的主题分布进行识别,发现了230个主题,并得到了每门课程在这230个主题下的文档–主题分布以及主题–词分布。进一步基于分布相似性函数对课程进行层次聚类,发现基于不同抽象层次主题的课程相互关联。最后将16个主题信息进行了可视化,这些主题分别从内容和数量两个角度反映出了课程的主题特征以及课程的聚合分布情况。     

基于LDA模型的网络刊物主题发现与聚类

随着智能终端的普及,文本的主题挖掘需求也越来越广泛,主题建模是文本主题挖掘的核心,LDA生成模型是基于贝叶斯框架的概率模型,它以语义关联为基础,很好地解决了文本潜在主题的提取问题。对文本聚类过程的核心技术LDA生成模型、数据采样、模型评价等作了较为深入的阐述和解析,结合网络教育平台的2 794篇学习刊物进行了主题发现和聚类实验,建立了包含3 800个词项的词库,通过kmeans算法和合并向量算法(UVM)分两步解决了主题聚类问题。提出了文本挖掘实验的一般方法,并对层次聚类中文本距离的算法提出了改进。实验结果表明,该平台刊物的主题整体相似度比较好,但主题过于集中使得许多刊物的内容不具有辨识度,影响用户对主题的定位。     

AR-Grams:一种应用于网络舆情热点发现的文本聚类方法

网络舆情热点发现是一种常用且处理速度要求较高的应用.针对网络舆情热点发现这一特殊应用场合,本文提出了一种基于随机N-Gram的文本聚类方法AR-Grams.该方法通过随机N-Gram的文本相似度计算方法,确立待聚类文档集中各个初始聚类的标志文档并完成初步的聚类操作,继而通过聚类元素数阈值来确定初始聚类,并可根据实际情况确定是否执行聚类合并.该方法生成的聚类内聚性好,准确率高.另外,为了便于评估整体的聚类效果,提出了聚类的整体覆盖率和正确覆盖率.实验结果表明:与对比方法DR-Grams相比,在低阈值时,AR-Grams的准确率、召回率、F-score、正确覆盖率分别提高了11.9％、9.1％、10.2％和9.2％,提升效果尤为明显;在高阈值时,效果基本相当;在整体上,前述4项指标则分别提高了4.5％、2.9％、3.5％和3.0％,优于对比方法DR-Grams.     

课程词典系统的设计

采用面向对象的编程工具和数据库技术,使用改进的机械分词方法,开发了适合教学方面的中文索引和检索服务系统(课程词典)。系统负责搜索和获取指定范围内的有关数据。对检索服务系统的工作原理和关键技术进行了讨论和分析。该系统基于"自然语言理解"的智能检索,背景为对教学方面信息检索系统的设计与开发。系统中,无论是对用户提问的分析,还是对所检索的信息都是以汉语自动分词为基础加工处理,因而将汉字串切分为汉词串的分词问题即为该系统研发的前提和关键。     

基于规则、串频统计和上下文关系的现代汉语分词系统的实现

介绍了一种集合了规则、串频统计和中文上下文关系分析的现代汉语分词系统.系统对原文进行三次扫描,首先将原文读入内存,利用规则将原文变成若干个串,构成语段十字链表;然后对每个串中的子串在上下文中重复出现的次数进行统计,把根据统计结果分析出的最有可能是词的子串作为临时词;最后利用中文语法的上下文关系并结合词典对原文进行分词处理.系统对未登录词的分词有很好的效果.     

基于词嵌入特性聚类的文本主题挖掘

数据聚类是常用的无监督学习方法,通过词嵌入聚类能够挖掘文本主题,但现有研究大多数采用常规聚类算法挖掘词嵌入的簇类,缺少基于词嵌入特性设计实现词嵌入聚类的主题挖掘算法.该文从语言模型通过建模词间相关信息来使相关及语义相似词的嵌入表示聚集在一起的特点出发,设计词嵌入聚类算法.该算法首先计算中心词的簇类号,然后使该簇中心嵌入和相邻词嵌入的相似性增强,同时使其与负样本词嵌入远离,学习文本集词嵌入的簇类结构,并将其应用于文本主题挖掘.在3种公开数据集上的实验表明:该算法在一些模型的词嵌入结果上能够挖掘出一致性和多样性更好的主题结果.     

基于虚词切分的藏文分词系统的设计与实现

藏文分词是藏文自然语言处理的基础。根据藏文虚词在藏文文本中的特殊作用以及虚词的兼类性、结合性、黏着变体性和还原特性,设计实现了一个基于藏语虚词切分的正向最大匹配的藏文分词系统,该系统对原始文本进行逐次扫描处理得到分词结果。实验表明,文章提出的藏文分词系统具有较高的切分精度和切分速度。     

基于话题分布相似度的无监督评论词消歧方法

基于话题信息、词的位置关系和互信息等特征, 提出一种无监督的跨语言词义消歧算法。该算法仅利用在线词典和web搜索引擎, 通过上下文信息选择评论句中多义评论词的词义。实验结果表明, 所提出的词义消歧算法具有较高准确率, 对于具有较多候选词义的评论词仍能表现出较好的性能。     

基于细胞图像肺癌诊断系统的设计与实现

基于细胞图像的肺癌诊断系统主要是利用数字图像处理和模式识别的技术对肺癌细胞的图像处理，并根据提取出的细胞特征对肺癌进行早期的病理诊断．不同于以往的细胞诊断系统，文中提出了新的细胞分割和重叠细胞重构的方法．首先把彩色肺癌细胞图像转化为灰度图像，对其进行平滑、去噪，然后用一种新的基于强化学习的方法寻找合适的灰度阈值，把细胞区域分割出来，形成二值图像，并对图像进行基于形态学的二值滤波，再针对此时分割出的重叠细胞，利用一种改进的deBoor—Cox方法分离与重构，最后进行特征提取，根据提取出来的多种特征对细胞分类，诊断出肺癌细胞．     

基于细胞图像肺癌诊断系统的设计与实现

基于细胞图像的肺癌诊断系统主要是利用数字图像处理和模式识别的技术对肺癌细胞的图像处理,并根据提取出的细胞特征对肺癌进行早期的病理诊断.不同于以往的细胞诊断系统,文中提出了新的细胞分割和重叠细胞重构的方法.首先把彩色肺癌细胞图像转化为灰度图像,对其进行平滑、去噪,然后用一种新的基于强化学习的方法寻找合适的灰度阈值,把细胞区域分割出来,形成二值图像,并对图像进行基于形态学的二值滤波,再针对此时分割出的重叠细胞,利用一种改进的deBoor-Cox方法分离与重构,最后进行特征提取,根据提取出来的多种特征对细胞分类,诊断出肺癌细胞.     

基于最小风险贝叶斯算法的邮件过滤系统设计

大量垃圾邮件的出现给用户收发邮件带来了极大的困扰.在朴素贝叶斯算法的基础上,利用最小风险贝叶斯算法修正过滤器,设计出了一种新的电子邮件过滤系统模型.重点讨论了实现该系统所需处理的几个关键问题,最后给出了实验结果.     

基于改进的朴素贝叶斯文本分类研究

文本分类(Text Categorization,TC)指的是把一个自然语言文本,根据其主题归入到预先定义好的类别中的过程.文本分类是自然语言处理的一个基础性工作,也是近年来人们研究的热点话题.针对朴素贝叶斯算法在小样本集分类效果不高的原因进行了分析,对其进行了改进和调整,提出了基于改进的朴素贝叶斯文本分类方法,试验结果表明,该方法取得了更好的效果.     

基于校园 BBS 的舆情系统爬虫应用研究

在校园 BBS 的基础上研究了网络爬虫程序的4个关键模块：页面抓取、页面解析、任务调度和去重模块。探讨了 HTMLParser 和正则表达式在解析页面时的运用方法。在处理爬取数据时,改进了任务调度算法,提高了爬取速度,并针对校园论坛 BBS 经关键词搜索的页面进行了爬取。