基于Scrapy和Elasticsearch的校园网搜索引擎的研究与实现

针对通用搜索引擎无法及时收录校园网内信息和收录时间滞后的问题,基于Scrapy框架和Elasticsearch全文搜索引擎,提出了一个完善的校园网搜索引擎解决方案。该文主要分析了Scrapy的运行流程,对Elasticsearch的搜索机制进行了研究,在此基础上设计了校园网搜索引擎的系统架构,给出了系统的网页抓取模块、索引检索模块、页面展示模块的关键实现技术。最后通过实验验证,相比于传统的通用搜索引擎,该文设计的校园网搜索引擎的搜索结果相关性更好,数量更多,对于校园网内新信息的收录情况更好。     

数字流域信息共享模式构建

数字流域建设涉及的数据包括流域空间数据、各种水专题数据以及与之相应的社会经济统计数据.这些数据的生产、存放散落在不同的管理部门,具有海量、异构、多尺度特性,原有的通过数据拷贝整合来进行大一统的数字流域建设的模式,在我国目前条块分割的行政体制下难以取得实质性进展.为此,通过对数字流域信息共享模式的研究,探讨了在目前技术条件下进行流域信息共享的可操作性,结合流域实际情况提出了一种利用Web API 的新的流域信息共享模式,并以秦淮河流域为例对该流域信息共享模式进行应用试验,验证了该流域信息共享模式的正确性及有效性.     

人工智能技术在搜索引擎中的应用

介绍了搜索引擎的分类、工作原理,并具体分析了搜索引擎的体系结构,包括信息的搜集系统、索引系统以及查询接口.基于现在人工智能技术的迅速发展,对于在搜索引擎中运用的人工智能技术进行了研究,且着重分析了搜索引擎重要模块Robot的智能化、智能代理技术以及查询接口的智能化,有力地描述了搜索引擎发展的智能化方向与方法,对智能型搜索引擎所面临的挑战以及未来发展进行了展望.     

基于Google Earth/GPS技术的海上安全救助系统综合应用

采用Orbcomm的低轨数据卫星通信技术,开发了点对点数据、短信双向透明卫星数据通讯机,通过运用.NET技术辅以Google Earth建立了海上安全救助管理信息系统,海上安全救助系统由卫星数据通信模块、GPS定位模块、嵌入式子系统和互联网模块组成,该系统有效提供了远洋船舶指挥调度、应急通信、灾情信息快速上报和共享等服务。     

网络应用软件监控系统中监控模块的设计与实现

在对SNMP中MIB信息和协议数据单元扩充的基础上,采用面向对象的技术,设计并实现了面向应用软件的网络监控系统.介绍了其监控模块的功能设计、工作逻辑设计、应用程序中变量的获取技术和监控信息的存储以及共享技术.监控模块是整个监控系统中最基础、最核心的单元,是提供给软件开发人员使用的一个通用接口模块,为此,在监控模块内部封装了与外界进行通信和对本地监控信息进行管理的内部实现模块,并向软件开发人员提供了一系列接口来操作该模块.将监控模块集成到应用程序中后,通过该模块,使得这个监控系统对应用程序类中成员变量和成员函数具有监控功能.     

高校图书馆搜索引擎中Web挖掘的应用研究

针对高校学术信息资源检索的精确度问题,提出了运用Web挖掘的高校图书馆搜索引擎系统。它主要对Web使用记录挖掘及其用户兴趣模型的建立进行了详细分析。首先它阐述了高校图书馆搜索引擎系统的4个过程,其中主要提出建立用户兴趣模型时采用的一种利用用户浏览页面集的内容信息和浏览行为信息,隐式地创建用户兴趣描述文件的方法;然后阐述了高校图书馆搜索引擎系统的各处理模块;最后设计了结合Web数据挖掘的高校图书馆搜索引擎系统操作过程,保证了所创建的用户兴趣模型的准确性,从而有效地提高高校图书馆搜索引擎系统的查准率。     

一种基于本体的个性化搜索引擎模型

利用信息检索、本体和个性化搜索等相关知识,构建一种基于本体的个性化搜索引擎模型PSMBO.该模型由用户界面、查询请求处理模块、检索模块、查询结果处理模块、兴趣学习模块以及用户兴趣知识库和本体知识库七个部分组成.该模型在一定程度上提高了搜索引擎在查准率和查全率方面的性能.     

面向个性化需求的体育信息服务平台设计

从用户个性化需求和信息服务的及时有效性出发,探讨了个性化体育信息服务平台的设计。提出了基于struts的四层式框架结构,以组件化的方式封装业务模块,研究了平台的技术体系和开发技术,并对平台的主要功能进行了划分,包括体育资源发现模块、资源组织管理模块、个性化信息服务模块和平台维护模块等,分析了平台各个模块的功能。实验结果表明,在面向用户定制的信息服务数据源中,平台的综合性能比通用搜索引擎有所提高。     

一种基于Web Service的信息搜索引擎机制

在解析Web Service的体系结构的基础上,分析了其应用于搜索引擎的原因,以油田信息资源为平台,设计了一种基于Web Service技术的信息搜索引擎解决方案,并详细描述了该方案中各模块的具体内容,工作流程及安全策略等关键问题.实践表明,此方案能保证数据安全性,具有一定的实用性和较高的开发效率.     

浅谈搜索引擎的安全性

Internet的迅速发展,带来了信息的全球共享,方便了人们的交流和沟通,但是也带来了一系列的问题。以Google为代表的搜索引擎技术快捷、高效、全面地提供了全球信息的检索。但是搜索引擎中的自动信息搜索技术和链接描述文字技术却有很大的弊端。对于一些安全性不高的网站合法非法的搜索都可以探测到保密的信息,由此造成了保密信息的外泄。人肉搜索引擎的出现,因其缺乏规范,更容易产生严重的社会问题。     

装备制造业产业协作链服务平台模型研究与设计

为了区域装备制造业信息化建设,研究和设计了装备制造业产业协作服务平台的整体架构,分为三个层次:数据共享层、应用服务层和用户层.研究了服务平台功能模型,定义了服务平台主要功能:数据交换功能、技术协作功能、信息资讯功能.在产业链技术协作模块设计中,重点介绍了服务层、管理层和资源层的作用.分析了信息服务综合技术和一些辅助技术,采用了SOA服务架构模式,通过搜索引擎技术对行业内外部的信息进行搜集,实现了为客户提供实时的管理信息化系统服务,为产业链企业信息咨询服务.     

基于Lucene的校园信息搜索引擎的设计与实现

利用Lucene开源全文本搜索技术框架建立了校园搜索引擎,设计并实现了资源采集、信息检索、数据检索等模块,完成了一个基于Lucene的搜索引擎的应用,改进后的基于Lucene的校园搜索引擎能满足校园用户的需要并提升了搜索的准确性．     

中文农业主题搜索引擎的设计与实现

用户对农业信息的需求越来越多,农业搜索引擎的开发变得十分必要.从农业搜索引擎发展状况出发,在分析研究通用搜索引擎工作原理、系统架构的基础上,设计并实现了中文农业主题搜索引擎,给出了开发过程中采用的关键技术.结果表明,能满足用户实际需求.     

基于Agent的个性化搜索模型

该文针对传统搜索引擎单纯面向信息过滤的缺点 ,引入Agent技术 ,提出了第 2层信息服务模型 ,其中采用了基于用户个性的信息再过滤方法。第 2层信息服务模型在第 1层信息服务 (即传统的搜索引擎 )之上构建用户兴趣模板和分组模型 ,将用户需求定义为显性需求和隐性需求并给出了相关算法。依据此定义获得相应信息服务于用户 ,增强了信息搜索能力。     

基于分类和聚类相结合的个性化检索方法研究

目前检索工具的设计大多面向所有用户，而没有考虑到用户个人的兴趣，导致查准率较低。由此提出一种基于分类和聚类相结合的个性化信息检索方法。该方法首先利用聚类技术，对用户的历史浏览记录进行聚类，产生一个初步的用户兴趣分类，然后根据ODP对用户兴趣分类进行调整得到最终的用户兴趣分类，并利用该分类对传统搜索引擎返回的结果进行分类，以产生有意义的分类搜索结果。该方法克服了单独利用分类或聚类技术的局限性，提高了搜索引擎的可用性。     

一种高性能分布式Web Crawler的设计与实现

介绍了一种大规模、高性能、分布式的Web信息搜集器的设计及其Java实现．提出了Crawler设计中数据结构、系统功能模块和相关算法新的设计思想；对设计与实现过程中需要解决的关键问题分布式协调机制、基于内存的URL存储管理等进行了讨论，并提供了现阶段的设计、实现方法和分布式无损链接分析算法．     

基于用户偏好的智能数据源选择

当前搜索引擎用户个性化的研究是搜索引擎优化的一个研究分支.当前检索模型的主要弊端就是搜索引擎用户提供的信息很少.目前主要借助于用户在和元搜索引擎交互的过程中提供的隐反馈信息对成员搜索引擎的数据源选择算法进行优化,利用语言模型对用户检索行为建模,用户与元搜索引擎交互的过程中动态更新用户行为模型,自适应的满足不同检索动机的用户的信息需求.     

基于Lucene的校园网搜索引擎的设计与实现

利用基于校园网的搜索引擎来搜索学校局域网内的信息已成为人们关注的热点,一方面是因为校园网内信息量不断增加,利用搜索引擎可以提高搜索效率;另一方面是因为由于网络设计的限制,百度等搜索引擎搜索不到局域网内的很多信息.在研究搜索引擎基本原理和技术的基础上,设计了基于Lucene的校园网搜索引擎.测试表明,本系统能很好地完成用户的搜索要求.     

基于超链接分析搜索引擎页面排序算法的剖析

对搜索结果的排序是搜索引擎中至关重要的一项技术,算法的好坏直接关系到用户输的搜索引擎页面排序算法。对两种最基本的页面排序算法PageR ank和H ITS的算法思想和实现原理进行详细阐述。通过分析对比,总结出它们各自存在的优点和不足进而指出适合其应用的条件领域。最后指出搜素引擎应用超链接分析时应注意的一些影响因素。     

基于网络的农业机械电子图纸信息管理系统

以旱作农业机械为例,研制了一种基于网络的电子图纸信息管理系统．系统采用严格的访问权限管理图纸资源,具有图纸存档的添加、更新、删除、检索以及DWF格式矢量图纸的Web浏览等功能．系统可根据装配图纸内在层次关系进行浏览,也可在一套图纸内进行快速定位浏览及综合检索浏览,以满足不同机械同类机构电子图纸的检索与比较．系统还集成开发了技术论坛、产品发布、咨询留言等模块,以促进农业机械技术的交流、发展和信息化．在局域网上测试结果表明,系统具有较好的通用性,能满足可转化为DWF格式各类电子图纸的管理及信息共享．