基于Scrapy和Elasticsearch的校园网搜索引擎的研究与实现

针对通用搜索引擎无法及时收录校园网内信息和收录时间滞后的问题,基于Scrapy框架和Elasticsearch全文搜索引擎,提出了一个完善的校园网搜索引擎解决方案。该文主要分析了Scrapy的运行流程,对Elasticsearch的搜索机制进行了研究,在此基础上设计了校园网搜索引擎的系统架构,给出了系统的网页抓取模块、索引检索模块、页面展示模块的关键实现技术。最后通过实验验证,相比于传统的通用搜索引擎,该文设计的校园网搜索引擎的搜索结果相关性更好,数量更多,对于校园网内新信息的收录情况更好。     

基于校园网的中文搜索引擎系统

在存有海量信息的互联网上高效地搜索信息,搜索引擎是必不可少的.介绍了一个基于校园网的中文搜索引擎的设计与实现.     

排序融合算法在校园网搜索引擎中的应用

网页排序技术是搜索引擎的核心技术之一. 校园网搜索引擎是指以一个校园网内的Web网页为搜索内容的搜索引擎. 由于校园网相对于互联网和内联网的特殊性,各种启发式条件对校园网网页排序优化的影响及排序融合技术在校园网搜索引擎的作用是研究的重点. 实验结果表明各个启发式条件的影响和实验数据集有关,而不同启发式条件组合经过排序融合后所获得的查全率差别很大(2%～48%). 查全率大于35%的启发式条件组合至少包含4个启发式条件,即校园网搜索引擎的排序需要依据数据集综合考虑多个启发式条件的排序结果. 排序融合技术是校园网搜索引擎具有良好的查全率的必要技术之一. 基于排序融合技术的网页排序模块已经应用于清华大学校园网搜索引擎中.     

校园网环境下的多参数加权网页排序算法

介绍了笔者所设计的一个校园网搜索引擎（SzCompass）中的网页排序算法。首先详细分析了通用搜索引擎常用的PageRank和HITS网页排序算法;通过比较在校园网和Internet上搜索的主要区别,设计了一种适合校园网的多参数加权的网页排序算法,并对利用该算法实现的搜索引擎的检索效率进行了实验分析。     

基于全文检索Apache Lucene引擎的原理与流程研究

根据全文检索Apache Lucene引擎原理与流程,设计了一种网络视频信息的索引方法.可以对所有的视频信息进行索引,解决了视频搜索引擎排序信息不明以及局域网站搜索的局限性等问题.     

校园网园区搜索引擎的设计与实现

Google、百度等通用搜索引擎不能适用于所有的情况和需要,现有的校园网搜索引擎存在查准率、查全率不高,升级维护困难等局限性.本着整合校园网资源的目的,为方便广大师生对校园网信息的获取和使用,设计并实现了校园网园区搜索引擎中文检索系统.该系统由搜索引擎机器人、信息分析器和Web服务器查询软件3部分组成,能够对园区网上的...     

面向侨务信息主题的搜索引擎系统

介绍面向侨务信息主题搜索引擎的工作原理和体系结构,根据侨务信息的特征对网页进行侨务信息的识别.针对主题式搜索,提出一种优化的,基于历史反馈(BHF)的搜索策略,并对该搜索策略进行实验测试.结果表明,以该方法设计的面向侨务信息主题的搜索引擎系统,具有较高的搜索速度与识别精度.     

面向校园网搜索引擎的PageRank改进算法

根据校园网的网络结构和资源分布特点,针对经典PageRank算法采用的平分页面自身PageRank值的策略,提出了基于关键词集的网页关联权重分配PageRank值的改进算法.权值由页面问的关联程度和用户的搜索关键词确定,从而提高了校园网搜索引擎的搜索匹配程度和结果页面的排序质量.     

面向食品安全领域的个性化知识搜索系统研究

大数据时代,从海量的数据中发现对用户有用的知识成为研究领域重要的问题.通过集成多个搜索引擎的查询结果,实现食品安全领域中搜索信息的集成和个性化自适应排序.本文设计基于元搜索技术、知识本体和自适应的排序学习技术,实现多个搜索引擎相关查询结果集成,在对用户点击的标注和知识本体的基础上,利用基于监督学习的排序技术,实现对食品安全领域信息的个性化自适应排序.系统实现了集成多个搜索引擎的食品安全相关知识的提取和相关结果的重新排序.本研究不仅实现了多个搜索引擎食品安全信息查询相关的结果集成,而且能够根据用户的偏好实现结果的自适应排序.     

基于Lucene的校园信息搜索引擎的设计与实现

利用Lucene开源全文本搜索技术框架建立了校园搜索引擎,设计并实现了资源采集、信息检索、数据检索等模块,完成了一个基于Lucene的搜索引擎的应用,改进后的基于Lucene的校园搜索引擎能满足校园用户的需要并提升了搜索的准确性．     

中文搜索引擎发展现状和使用技巧

随着网络技术的发展，网上信息量急剧增长，中文搜索引擎为人们在网络信息中实现个性化查询提供了方便。简述了中文搜索引擎的发展现状和工作流程，介绍了常用的网络中文搜索引擎及其使用技巧，指出有针对性地选择合适的搜索引擎，并利用检索中的一些经验技巧，可以达到事半功倍的效果。     

基于自然语言查询的搜索引擎模型

阐述了目前网络上的搜索引擎主要是基于关键词索引查询技术而设计的,这种技术的搜索范围很大,但由于关键词难于表达丰富的概念和用户信息需求中的丰富语义,导致查准率很低。以语义W eb和基于语义的网络信息检索技术为理论根据,从克服目前信息组织和信息检索的矛盾出发,用XML/RDF作为语义描述、组织、存储、查询的工具,试图在未来搜索引擎发展方面做一些尝试性的研究,提出了一个基于自然语言查询的搜索引擎模型。     

浅析数字图书馆搜索引擎

搜索引擎是人们使用Internet信息资源的重要工具,是人们获取网络信息资源的重要渠道。介绍了搜索引擎的基本概念,阐述了搜索引擎发展阶段的划分、数字图书馆搜索引擎的分类以及搜索引擎性能评价指标,指出了数字图书馆搜索引擎的发展方向。     

主题Web信息采集技术

在互联网高速发展的今天,搜索引擎逐渐成为用户在Web上获取信息的主要工具。传统的通用搜索引擎利用一个Crawler程序面向整个Web进行信息采集,它的缺点是采集无针对性、页面失效率高、不能满足特定专业人群的需要。针对这种情况,需要一个分类细致精确、数据全面深入、更新及时的面向主题的搜索引擎。     

基于ElasticSearch的网络舆情搜索平台设计

针对网络上各种信息混杂、信息传播速度快、有害信息混杂其中、网络舆情治理难的问题,为及时搜索网络信息提供一个搜索服务平台。实现了基于ElasticSearch为搜索引擎,提供通过关键字搜索舆情信息的服务,并使用JavaWeb技术进行功能的实现。该平台同时具有实用性和可扩展性,对于类似的搜索平台有着借鉴意义。     

打开网络信息资源的金钥匙——百度搜索引擎

阐述了网络搜索引擎在网络信息资源利用中的重要作用,重点介绍了百度搜索引擎的常用搜索技巧与其他一些比较实用的搜索技巧。     

基于社区网络的搜索引擎的研究

传统搜索引擎无法满足用户对社区网络中实时信息的需求。给出一种实时搜索引擎模型,利用经过算法优化的网络爬虫,实现制导式的数据抓取,同时利用社区网络提供的开放API获得更新数据。通过XML结构化数据,使用改进的向量空间模型对信息进行过滤和分类,并采用考虑时间因素的相关度算法对搜索结果进行排序。实验证明该模型能够实现搜索结果的实时性,并且能够保证搜索项与搜索结果之间比较高的相关度,为用户提供更好的搜索体验。     

基于Agent的搜索引擎智能个性化设计

随着互联网上信息数量的激增,信息搜索技术面临着越来越大的挑战.传统的搜索引擎很难满足用户个性化的需求,因此将人工智能技术的研究成果引入到搜索引擎之中便成了不可避免的一种趋势.在传统搜索引擎的基础上,笔者提出了一种基于多Agent协作的智能搜索引擎模型,并将多种智能技术或算法引入到该引擎的研究之中,从而得到一个符合个性要求的高效的证券专业领域搜索引擎系统.将该系统运用到其他专业领域,同样可以取得很好的查询效果.     

电子商务中基于Hopfield神经网络的货源信息搜索方法

对电子商务环境下货源信息搜索问题进行了分析研究,并以Internet网络为信息源,采用信息检索和人工智能相关技术,提出了基于Hopfield神经网络的货源信息搜索方法.该方法将货源信息的特征保存在Hopfield神经网络的连接权中,根据用户输入的查询词,通过网络的运行,自动生成一组查询扩展词,利用这组查询扩展词在通用搜索引擎中进行扩展搜索,并分析排序搜索结果.此方法扩大了货源搜索范围,提高了搜索精度,为企业提供了有价值的相关货源信息.     

网络信息检索工具浅析

搜索引擎是人们使用Internet信息资源的重要工具。对目前的搜索引擎进行了简要的分析,以百度搜索等为例,详细介绍了相关网络信息检索工具以及如何在短时间内能够掌握利用和运用Internet的资源找到人们所需要信息的方法。