对网页PageRank算法的改进

分析了著名搜索引擎Google采用的PageRank算法，指出其偏重旧网页，忽视专业站点以及对网页中的超链接评估不恰当等不足之处。改进算法考察了网页日期这一重要因素，并重新计算网页中超链接对网页的影响。网页结构中蕴涵着丰富的信息，在href,title等标记中文字对网页主题有重要作用，利用结构标记可以辅助判断网页的主题内容。试验结果表明，采用改进的算法可以提高判断网页重要性的准确度。     

基于定题爬虫的网页分类的多级判定算法

通信和计算机技术的进步,使社会向数字化方向发展.互联网上的信息,则呈爆炸式增长.搜索引擎若在全面和详尽两方面都下功夫,只能导致既不全面也不详尽.因此衍生出面向专门人群的垂直搜索.网面分类是实现搜索引擎的定题爬虫的重要技术之一.在新的需求下,提出一个新的网页分类判定算法,在原有基础上,对搜索的速度和质量进行提升.     

基于Unicode的藏文网页搜索探讨

藏文网页搜索是藏文计算机技术和藏文网站发展的必然要求,藏文字的特殊结构和藏文编码的多样性给网页的统一检索造成一定的困难,使用基于Unicode的藏文编码来识别和存储藏文有利于网页搜索的实施。     

面向侨务信息主题的搜索引擎系统

介绍面向侨务信息主题搜索引擎的工作原理和体系结构,根据侨务信息的特征对网页进行侨务信息的识别.针对主题式搜索,提出一种优化的,基于历史反馈(BHF)的搜索策略,并对该搜索策略进行实验测试.结果表明,以该方法设计的面向侨务信息主题的搜索引擎系统,具有较高的搜索速度与识别精度.     

搜索引擎系统中搜索方法的设计

根据搜索引擎中的快速搜索方法，设计逻辑符号检索词组或短语的内容检索等7大类搜索方法，并用Java语言实现了其中的部分功能。     

主题爬虫搜索策略的研究

由于信息多元化的发展,通用的搜索引擎无法满足专业化用户的需求,分类细致、精确、更新及时的面向特定主题的垂直搜索引擎便应运而生了。主题网络爬虫是垂直搜索引擎获取数据的自动化程序。以何种策略有效地访问网络资源是主题爬虫研究的主要问题。本文重点对主题爬虫的搜索策略进行研究,并对各种搜索策略进行了比较。     

基于元搜索的网页去重算法

针对元搜索的重复网页问题,提出基于元搜索的网页去重算法,并通过实验对算法进行有效性验证。该算法首先对各成员搜索引擎返回来的结果网页的URL进行比较,然后对各结果网页的标题进行有关处理,提取出网页的主题信息,再对摘要进行分词,计算摘要的相似度,三者结合能很好的检测出重复网页,实现网页去重。该算法有效,并且比以往算法有明显的优势,更接近人工统计结果。     

模板化网页主题信息的提取方法

为了消除网页噪音,有效地提取基于模板的网页主题信息,提出了一种新的信息提取方法.该方法采用机器自动学习方式生成网页集的模板;以网页链接关系中的锚点文本作为提取目标对模板进行标记,生成对应模板的提取规则;依据模板的提取规则对网页主题信息进行提取.对国内2 588个新闻网页进行了检测.实验结果表明,该方法可以快速、有效地提取模板生成的网页集主题信息,准确率达99.5%.将该方法应用于搜索引擎系统(木棉检索)中,与原来的检索系统相比较,索引文件的大小减少约50%,检索的速度和精确度也得到提高.     

基于网页分块技术主题爬行器的实现

针对目前通用搜索引擎搜索到的结果过多、 与主题相关性不强的现状, 提出一种基于网页分块技术的主题爬行器实现方法, 并实现了一个原型系统Crawler1. 实验结果表明, 本系统性能较好, 所爬网页的相关度在55%以上.     

基于Ajax的聚合搜索系统

随着Internet的发展，人们对于信息的需求与日俱增。而且，人们倾向于应用多个搜索引擎以获取更全面、准确的信息。因此，作为崭新的搜索方式，将各大搜索引擎集中到一个平台的聚合搜索开始备受关注。针对这种应用趋势，文章介绍一个基于Ajax的聚合搜索系统的实现过程，它以百度、Google、雅虎、爱问、搜狗、中搜6大搜索引擎作为搜索源，利用正则表达式匹配搜索结果，最终给用户呈现一个整洁的搜索结果。     

基于超链接分析的网页正文提取方法

随着网络的迅猛发展,web服务已经成为研究的热点之一.本文介绍了一种文件类型网页文件的文本信息预处理技术.该方法能够解析网页文件的组成结构,并从中提取出主体文本以供处理.测试表明该方法能快速有效地得到大部分HTML网页的主体部分.     

基于Map/Reduce的网页消重并行算法

网页消重模块是搜索引擎系统的重要组成部分,其作用是对搜索引擎的爬虫系统下载的网页进行过滤,去除重复内容的网页,从而提高搜索引擎爬虫系统的性能和检索的质量。提出了一种网页消重的并行算法以及基于Map/Reduce的实现机制,并通过实际网站的实验验证了该消重算法的稳定性和处理大量网页时的并行性能。     

基于网页正文主题和摘要的网页去重算法

针对元搜索返回的网页内容相同,别名差异很大的重复网页,提出基于网页正文主题和摘要的网页去重算法,并通过实验对算法进行有效性验证。该算法首先对各成员搜索引擎返回来的网页标题进行有关处理,提取出网页的主题信息,然后对摘要进行分词,再计算摘要的相似度,二者结合能更好地现出文章摘要的内容,实现网页去重。该算法有效,并且比基于传统特征码的算法有明显的优势,更接近人工统计结果。     

高性能网页索引器JU_Indexer的实现

高性能网页索引器JU_Indexer用倒排索引表存储网页索引数据, 以多线程并行的方式对网页建立索引数据, 采用经过优化的检索算法实现用户的查询. 首先给出了JU_Indexer的系统框架, 然后描述了索引数据在JU_Indexer中的存储结构、 建立网页索引的算法、 以及实现用户查询的检索算法. 实验结果表明, JU_Indexer能在毫秒级的时间内完成用户的查询, 它采用的经过优化的词组检索算法缩短了词组的检索时间.     

基于模拟退火的网络蜘蛛性能分析与系统实现

在分析传统网络蜘蛛搜索机制特点的基础上,将模拟退火机制引入网络蜘蛛的链接选择策略,提出了一种基于模拟退火机制的启发式网络蜘蛛搜索算法．设计并实现了一个计算机相关论文搜索引擎网络蜘蛛系统．针对国外4所著名大学计算机系网站中计算机论文资源的搜索实验表明,新算法可以有效提高搜索效率．     

一种Web文档在线自适应分类新方法

Web文档自动分类是Web挖掘中的重要研究内容。文档向量空间模型(VSM)是实现文档自动分类的基础，但如何排除冗余属性并降低向量空间的维数是一个难点。文中运用粗集理论对由样本文档集合构成的信息系统进行数据泛化，并求取文档的最优规约属性集，大大降低了文档的特征空间的维数，减少了冗余属性对文档分类的干扰，提高了分类效率。运用Fuzzy ARTMAP(adaptive resonance theory mapping)神经网络，利用其自适应分类和增量学习的优良特性，实现了对Web文档的在线自适应分类。     

Internet资源搜寻

本文综述在Internet上搜寻资源的方法 ,介绍著名的搜索工具以及著名的资源搜寻站点 .     

基于超链接分析搜索引擎页面排序算法的剖析

对搜索结果的排序是搜索引擎中至关重要的一项技术,算法的好坏直接关系到用户输的搜索引擎页面排序算法。对两种最基本的页面排序算法PageR ank和H ITS的算法思想和实现原理进行详细阐述。通过分析对比,总结出它们各自存在的优点和不足进而指出适合其应用的条件领域。最后指出搜素引擎应用超链接分析时应注意的一些影响因素。     

WEB页面的自动阅卷系统

传统的手工阅卷系统需要大量的工作量,而且缺少公正性.本文介绍了一个对WEB页面进行自动判分的阅卷系统.并讨论了该软件的设计目的、设计思想以及用VC 实现的方法等.