基于Lucene的校园网搜索引擎的设计与实现

利用基于校园网的搜索引擎来搜索学校局域网内的信息已成为人们关注的热点,一方面是因为校园网内信息量不断增加,利用搜索引擎可以提高搜索效率;另一方面是因为由于网络设计的限制,百度等搜索引擎搜索不到局域网内的很多信息.在研究搜索引擎基本原理和技术的基础上,设计了基于Lucene的校园网搜索引擎.测试表明,本系统能很好地完成用户的搜索要求.     

校园网园区搜索引擎的设计与实现

Google、百度等通用搜索引擎不能适用于所有的情况和需要,现有的校园网搜索引擎存在查准率、查全率不高,升级维护困难等局限性.本着整合校园网资源的目的,为方便广大师生对校园网信息的获取和使用,设计并实现了校园网园区搜索引擎中文检索系统.该系统由搜索引擎机器人、信息分析器和Web服务器查询软件3部分组成,能够对园区网上的...     

校园网环境下的多参数加权网页排序算法

介绍了笔者所设计的一个校园网搜索引擎（SzCompass）中的网页排序算法。首先详细分析了通用搜索引擎常用的PageRank和HITS网页排序算法;通过比较在校园网和Internet上搜索的主要区别,设计了一种适合校园网的多参数加权的网页排序算法,并对利用该算法实现的搜索引擎的检索效率进行了实验分析。     

基于Scrapy的分布式爬虫系统的设计与实现

随着互联网的快速发展,其信息量和相关服务也随之快速增长.如何从海量的信息中快速、准确地抓取所需要的信息变得越来越重要,因此负责互联网信息收集工作的网络爬虫将面临着巨大的机遇和挑战.目前国内外一些大型搜索引擎只给用户提供不可制定的搜索服务,而单机的网络爬虫又难当重任,因此可定制性强、信息采集速度快和规模大的分布式网络爬虫便应运而生.通过对原有Scrapy框架的学习和研究,将Scrapy和Redis结合改进原有的爬虫框架,设计并实现了一个基于Scrapy框架下的分布式网络爬虫系统,然后将从安居客、58同城、搜房等网站抓取的二手房信息存入MongoDB中,便于对数据进行进一步的处理和分析.结果表明基于Scrapy框架下的分布式网络爬虫系统同单机网络爬虫系统相比效率更高且更稳定.     

校园内网搜索引擎构建的必要性分析

分析了当前通用搜索引擎的原理和体系结构,研究了通用搜索引擎在应用于校园网信息检索时无法完整准确的不足之处以及校园网Web信息的特点,总结了校园网搜索引擎应该具有特性以及建设的必要性。     

基于校园网的中文搜索引擎系统

在存有海量信息的互联网上高效地搜索信息,搜索引擎是必不可少的.介绍了一个基于校园网的中文搜索引擎的设计与实现.     

基于.Net的全文搜索引擎设计与实现

随着互联网信息多样化和爆炸式的发展,人们面临着"信息迷航"和"信息过载"的困扰;当代社会对信息检索的需求不仅仅局限在通用搜索引擎,更需要针对特定领域设计出个性化搜索引擎。通过分析研究网络搜索引擎的组成结构及利用Lucene构建搜索引擎的方法,在Lucene原有网页排序算法基础上,结合PageRank算法的思想和用户喜好权重,提出更具个性化的网页排序算法,以反馈给用户符合其个性化需求的搜索结果。在.Net开发平台,利用C#语言,结合几种开源API,完成了个性化网络搜索引擎系统的设计与实现。系统界面设计采用了XAML及Ajax技术,搜索结果显示模块采用异步传输技术,使用户界面更加友好。通过测试和分析,系统实现了个性化搜索,用户不翻页也可以查看全部搜索内容,用户的体验度得到了提升。下一步将增加爬虫对于网络错误信息的处理及对于病毒网站的过滤功能。     

化工行业信息搜索技术的研究

面向行业主题的搜索在特定主题信息覆盖方面与通用搜索引擎有着截然不同的要求,为解决行业信息搜索的问题对基于向量空间算法的化工相关度计算以及对经典的Page-Rank页面排序算法做了研究与改进并且在Nutch搜索引擎架构基础上,搭建了一个面向化工行业信息资源的垂直搜索引擎。相对于通用搜索引擎来说剔除掉了不必要的搜索结果信息量,提升了系统速度,提高了行业信息搜索的准确度。     

排序融合算法在校园网搜索引擎中的应用

网页排序技术是搜索引擎的核心技术之一. 校园网搜索引擎是指以一个校园网内的Web网页为搜索内容的搜索引擎. 由于校园网相对于互联网和内联网的特殊性,各种启发式条件对校园网网页排序优化的影响及排序融合技术在校园网搜索引擎的作用是研究的重点. 实验结果表明各个启发式条件的影响和实验数据集有关,而不同启发式条件组合经过排序融合后所获得的查全率差别很大(2%～48%). 查全率大于35%的启发式条件组合至少包含4个启发式条件,即校园网搜索引擎的排序需要依据数据集综合考虑多个启发式条件的排序结果. 排序融合技术是校园网搜索引擎具有良好的查全率的必要技术之一. 基于排序融合技术的网页排序模块已经应用于清华大学校园网搜索引擎中.     

关于网站设计中搜索引擎的优化研究

一套良好的SEO实施方案能够有助于网站被搜索引擎更好、更多的收录,同时使网站的排名更加靠前.访问者从搜索引擎搜索信息的时候,该网站信息出现的位置将会更显著,频率会更高,因此也能给网站带来更大的访问量.本文从搜索引擎优化观点出发,剖析搜索引擎基本功能,得出搜索引擎优化的各种方法,对于网站的设计具有指导意义.     

面向教育主题的垂直搜索引擎的设计与实现

由于通用搜索引擎具有搜索信息量大、查询不准确、深度不够等缺点,本文在通用搜索引擎技术的基础上,依据专业领域搜索策略,设计并实现了一个面向教育主题的垂直搜索引擎系统,着重研究了专业网络蜘蛛定制、基于VSM的主题相关度算法和倒排索引建立等关键技术及其实现细节。实验结果表明,该系统能够快速地响应用户的查询请求,并且返回结果具有较高的准确性。实现了教育资源的共享,具有较高的应用价值。     

垂直搜索引擎及其个性化推荐研究

针对通用搜索引擎在当前网络搜索应用中出现的搜索结果冗余度过大、信息定位不准确的问题,对垂直搜索引擎进行了研究,剖析了通用搜索引擎和垂直搜索引擎的体系结构,比较了两者的工作流程和搜索结果进行,利用垂直搜索引擎专注于某一领域从而降低了＂一词多义＂现象的特性,有效提高了查全率和查准率。针对垂直搜索引擎在无法满足不同用户的个性化需求方面的不足,分析了垂直搜索引擎的个性化信息检索和推荐技术,然后从实际应用出发,设计和实现了基于用户和文档特征向量矩阵的个性化检索和推荐算法。     

面向教育主题的垂直搜索引擎的设计与实现

由于通用搜索引擎具有搜索信息量大、查询不准确、深度不够等缺点,本文在通用搜索引擎技术的基础上,依据专业领域搜索策略,设计并实现了一个面向教育主题的垂直搜索引擎系统,着重研究了专业网络蜘蛛定制、基于VSM的主题相关度算法和倒排索引建立等关键技术及其实现细节.实验结果表明,该系统能够快速地响应用户的查询请求,并且返回结果具有较高的准确性.实现了教育资源的共享,具有较高的应用价值.     

基于Scrapy的招聘信息爬虫设计与实现

随着互联网发布的各种数据在急剧增长,人们正常进入网站精确获取信息的速度较慢而且信息量较小,按照一定的规则编写的计算机指令——网络爬虫应运而生,它可以在较短的时间内从网络上自动抓取大量数据信息。该文研究的是基于Scrapy框架的一种招聘信息主题网络爬虫的设计与实现。主题网络爬虫只搜索与主题信息有关的资源数据,用来服务于高校毕业生群体,作为就业前收集招聘信息的辅助手段。     

用于互联网信息搜索系统的网络蜘蛛设计与实现

随着互联网信息的日益激增,大家都在想方设法建立各种系统来对互联网信息进行有目的、有针对性的搜索和挖掘。互联网信息搜索系统就是其中一种,它与Google、Yahoo等通用的搜索引擎既有相同的一面,又有其自身的特点。共同点中最重要的一点是,它们都使用网络蜘蛛(Web Spider)来爬取互联网上的内容;而不同的是,通用搜索引擎进行的是全网范围的爬取,是没有数量限制的成千上万个站点,     

基于Heritrix与Solr的就业主题搜索引擎的研究与优化

随着信息化步伐的加快,网络求职越来越普及,通用搜索引擎以及招聘网也成为大学生获取就业信息的主要渠道。针对大多通用搜索引擎搜索的就业信息精准度不高以及招聘网站内容繁杂等问题,研究面向大学生的就业主题搜索引擎系统。借助Heritrix爬虫工具以及Solr全文搜索引擎进行二次开发,并对Heritrix爬虫工具默认的爬取策略以及队列分配策略进行优化,同时引入IK Analyzer改进Solr的中文分词的准确率。系统原型测试结果表明,系统具有较好抓取效率以及查准率。     

基于Lucene的校园信息搜索引擎的设计与实现

利用Lucene开源全文本搜索技术框架建立了校园搜索引擎,设计并实现了资源采集、信息检索、数据检索等模块,完成了一个基于Lucene的搜索引擎的应用,改进后的基于Lucene的校园搜索引擎能满足校园用户的需要并提升了搜索的准确性．     

一种基于大数据架构的地震科普资源库的设计和开发

当今时代,愈发庞大的数据难以有效处理运用和管理,需要一种更加合适的资源获取处理方式。该文基于大数据架构结合网络爬虫、数据清洗、信息检索等前沿技术,设计开发了地震科普知识资源库系统。其中运用了J2EE、Python、Hadoop、Elasticsearch、MySQL等技术。通过网络爬虫和人工上传的方式采集地震科普相关信息资源,经过数据清洗转换后对信息资源进行自动分类,最后将资源上传至资源库hdfs分布式文件系统并将文件信息保存至Elasticsearch分布式文件索引系统,由此实现大数据架构下的全文检索。同时,建立资源库的后台管理系统,用于网站的日常管理和维护。相比以前的集群文件系统更加高速便捷、更加的安全稳定。     

一种改进的检索算法在垂直搜索引擎中的应用

本文以开源的Lucene全文检索工具为基础,设计了一个考试信息类的垂直搜索引擎.并对Lucene工具包中的检索模块做了改进,增加了网页重要性因素,主题相关度因素和用户兴趣因素.实验结果表明改进的检索算法能较大的提高系统的搜索效率,提高了用户体验.     

基于Lucene 的校园信息搜索引擎的设计与实现

利用Lucene开源全文本搜索技术框架建立了校园搜索引擎,设计并实现了资源采集、信息检索、数据检 索等模块,完成了一个基于Lucene的搜索引擎的应用,改进后的基于Lucene的校园搜索引擎能满足校园用户的需 要并提升了搜索的准确性．