模板化网页主题信息的提取方法

为了消除网页噪音,有效地提取基于模板的网页主题信息,提出了一种新的信息提取方法.该方法采用机器自动学习方式生成网页集的模板;以网页链接关系中的锚点文本作为提取目标对模板进行标记,生成对应模板的提取规则;依据模板的提取规则对网页主题信息进行提取.对国内2 588个新闻网页进行了检测.实验结果表明,该方法可以快速、有效地提取模板生成的网页集主题信息,准确率达99.5%.将该方法应用于搜索引擎系统(木棉检索)中,与原来的检索系统相比较,索引文件的大小减少约50%,检索的速度和精确度也得到提高.  

语义Web的研究与展望

对一系列Web新技术的总称--语义Web进行了综述,在分析语义Web的研究背景、研究价值及现有语义Web模型的基础上,对W3C组织的语义Web研究现状和语义Web研究领域当前的研究状况进行了分析;对其今后的研究工作进行了展望;总结了未来语义Web基础研究和应用研究的方向:语义Web的基础研究主要包括本体的发展、语义Web语言的形式语义和确信(Trust)与证据(Proof)模型的开发;应用研究主要集中在Web-services、基于代理的分布式计算、基于语义的网页搜索引擎和基于语义的数字图书馆几个方面.  

对网页PageRank算法的改进

分析了著名搜索引擎Google采用的PageRank算法，指出其偏重旧网页，忽视专业站点以及对网页中的超链接评估不恰当等不足之处。改进算法考察了网页日期这一重要因素，并重新计算网页中超链接对网页的影响。网页结构中蕴涵着丰富的信息，在href,title等标记中文字对网页主题有重要作用，利用结构标记可以辅助判断网页的主题内容。试验结果表明，采用改进的算法可以提高判断网页重要性的准确度。  

网页分类技术

网页分类是使用机器学习的方法实现网页类别的自动标注.回顾了文本分类技术的研究状况,分析了网页的结构特征,难点在于结合网页的结构信息选择合理的表示方式和分类算法.使用纯文本分类技术处理网页是不合理的.基于概率模型的方法和关系学习方法计算量大,关系学习方法学习结果的可解释性好,支持向量机方法分类准确率高,但核函数的构造和大规模数据集的训练都是该算法的难题.应该采用多种指标对网页分类算法进行评价.  

基于可视布局信息的网页噪音去除算法

主要探讨了网页中的噪音去除问题.针对单一页面中包含的丰富的可视信息,提出了一个更加精确的噪音去除算法首先获得页面中各元素标记的布局信息,然后利用布局信息对页面进行划分,最后在此基础上去除噪音.与采用"布局信息"的算法相比.本文提出的算法对页面布局信息的提取更加准确,并能处理动态HTML页面.实验结果表明,该算法优于同类算法,可有效地去除网页噪音.  

Web内容抽取及其数据管理方法

随着Internet及其相关技术的飞速发展，WWW已成为最大的信息集散地，无论对企业还是个人，Web逐渐成为最主要的信息来源，然而由于网站数量过多以及由此带来的信息泛滥，使得有用信息的获取越来越困难，搜索引擎只能提供信息的查找范围，而具体的内容还是要靠详细搜查，而且网页信息都是非结构化或半结构化的，无法直接利用分析工具进行分析，所以有必要提供一种网页内容自动抽取及使网页数据结构化的方法，来简化信息获取的过程和方便信息分析处理。  

基于Web分布式网络CAPP系统的开发

为满足工艺设计的协同工作、知识积累和快速复用的实际需求，在总结网络数据库查询方法的基础上，提出分布式网络CAPP系统结构，包括数据层、数据处理层、表达层和应用层；论述了系统的主要功能和基于Web的工艺数据查询的实现方法。  

面向主题的网页搜索系统

论述了一个面向主题的网页搜索系统（SATWP），该系统与智能代理的辅助下具有搜索，导航，以及信息反馈等功能。在判断网页与查询主题的相关度时改变了单纯的从网页内容上考虑的方法，即从网页自身的URL，网页间的关系以及网页的内容来判断。SATWP采用在客户端的智能代理记录用户的浏览行为，并把有关信息反馈给服务器，服务器根据这些信息随时调整数据库中相关网页的重要性顺序，增加了自身的学习功能，试验结果表明，该系统具有较高的准确度。  

PageRank-Pro--一种改进的网页排序算法

根据网页点击信息改进了原有的PageRank算法，利用Seidel迭代算法加快了迭代收敛过程．实验结果表明，改进后的迭代算法效率提高23％左右．  

新浪微博数据挖掘方案

随着新浪微博用户群体的增长,新浪微博的数据获取是微博研究首先需要解决的问题。该文提出了基于新浪微博API与基于页面解析的新浪微博数据获取方案。程序逻辑控制API调用方法与频率,获取JSON对象并解析实现高效数据获取。同时将传统的网络爬虫结合网页解析技术结合API同时使用,解决了因API接口开放不完善,且因在返回结果数量上限与调用频率方面的限制,导致不能有效实现新浪微博数据的全面获取的问题。经过实验测试,通过2套方案的结合可以实现新浪微博数据高效全面的获取。