面向教育主题的垂直搜索引擎的设计与实现

由于通用搜索引擎具有搜索信息量大、查询不准确、深度不够等缺点,本文在通用搜索引擎技术的基础上,依据专业领域搜索策略,设计并实现了一个面向教育主题的垂直搜索引擎系统,着重研究了专业网络蜘蛛定制、基于VSM的主题相关度算法和倒排索引建立等关键技术及其实现细节.实验结果表明,该系统能够快速地响应用户的查询请求,并且返回结果具有较高的准确性.实现了教育资源的共享,具有较高的应用价值.     

面向主题爬虫改进算法的个性化搜索引擎应用研究

研究了普通搜索引擎技术特点和实现过程,系统地分析比较研究基于主题改进爬虫程序算法,设计实现一个能更好地满足用户不同搜索需求的主题搜索引擎,该搜索引擎具有科学性、高效性、实用性、易操作性等优点.使用本搜索引擎,对多个大型网站进行查询搜索,通过实验数据对比,结果表明,该引擎的数据查全率和查准率都高于普通搜索引擎,具有较高的...     

基于语义主题搜索引擎系统研究

随着互联网的信息以指数级增长,用户希望搜索引擎能够提供面向专业的更准确智能搜索服务,主题搜索引擎的研究显得越来越有意义。本文对基于本体语义主题搜索引擎系统的关键技术进行研究。首先建立主题搜索引擎系统流程,对主题网络爬虫,网页主题相关度、网页主题分类进行了算法研究。最后以服装纺织领域的主题搜索实现为例,说明主题搜索引擎系统能更准确快速实现专业搜索服务。     

化工行业信息搜索技术的研究

面向行业主题的搜索在特定主题信息覆盖方面与通用搜索引擎有着截然不同的要求,为解决行业信息搜索的问题对基于向量空间算法的化工相关度计算以及对经典的Page-Rank页面排序算法做了研究与改进并且在Nutch搜索引擎架构基础上,搭建了一个面向化工行业信息资源的垂直搜索引擎。相对于通用搜索引擎来说剔除掉了不必要的搜索结果信息量,提升了系统速度,提高了行业信息搜索的准确度。     

基于网页分块技术主题爬行器的实现

针对目前通用搜索引擎搜索到的结果过多、 与主题相关性不强的现状, 提出一种基于网页分块技术的主题爬行器实现方法, 并实现了一个原型系统Crawler1. 实验结果表明, 本系统性能较好, 所爬网页的相关度在55%以上.     

主题爬虫搜索策略的研究

由于信息多元化的发展,通用的搜索引擎无法满足专业化用户的需求,分类细致、精确、更新及时的面向特定主题的垂直搜索引擎便应运而生了。主题网络爬虫是垂直搜索引擎获取数据的自动化程序。以何种策略有效地访问网络资源是主题爬虫研究的主要问题。本文重点对主题爬虫的搜索策略进行研究,并对各种搜索策略进行了比较。     

面向侨务信息主题的搜索引擎系统

介绍面向侨务信息主题搜索引擎的工作原理和体系结构,根据侨务信息的特征对网页进行侨务信息的识别.针对主题式搜索,提出一种优化的,基于历史反馈(BHF)的搜索策略,并对该搜索策略进行实验测试.结果表明,以该方法设计的面向侨务信息主题的搜索引擎系统,具有较高的搜索速度与识别精度.     

基于概念空间的领域信息爬虫设计研究

Web信息的急剧增长使搜索引擎专用化成为发展趋势.采用了基于概念空间的主体爬虫结构,构造了一个快速、有效的主题信息搜索机器人系统.试验结果表明,该方法具有较高的召回率和精确率.     

基于专业搜索引擎的元搜索引擎的设计

介绍了一个基于专业搜索引擎的元搜索引擎,提出将专业搜索引擎与专门搜索“Invisible Web”检索工具相结合的方法.在对检索结果进行融合处理时,采用建立专业词典的方法来提取主题,并进行主题的分类.同时,通过记录用户感兴趣的主题,为用户提供个性化服务.     

基于图像内容检索的主题爬虫设计方法

图像主题爬虫能获取网上特定主题的大量图像信息,对专业搜索引擎及数据挖掘应用都具有重大价值。针对目前基于图像内容检索主题爬虫的不足,提出了一种图像主题爬虫的设计方法,设计了一种新的爬虫系统框架,采用了基于颜色累加直方图的方法进行图像的特征提取与特征匹配。最后提出了优化爬虫的方法,改进爬虫的搜索策略,提高了爬虫的搜索效率。     

中文农业主题搜索引擎的设计与实现

用户对农业信息的需求越来越多,农业搜索引擎的开发变得十分必要.从农业搜索引擎发展状况出发,在分析研究通用搜索引擎工作原理、系统架构的基础上,设计并实现了中文农业主题搜索引擎,给出了开发过程中采用的关键技术.结果表明,能满足用户实际需求.     

基于Heritrix与Solr的就业主题搜索引擎的研究与优化

随着信息化步伐的加快,网络求职越来越普及,通用搜索引擎以及招聘网也成为大学生获取就业信息的主要渠道。针对大多通用搜索引擎搜索的就业信息精准度不高以及招聘网站内容繁杂等问题,研究面向大学生的就业主题搜索引擎系统。借助Heritrix爬虫工具以及Solr全文搜索引擎进行二次开发,并对Heritrix爬虫工具默认的爬取策略以及队列分配策略进行优化,同时引入IK Analyzer改进Solr的中文分词的准确率。系统原型测试结果表明,系统具有较好抓取效率以及查准率。     

基于多Agent的智能搜索引擎的设计与实现

结合Agent技术与Web开发的基本架构模式,提出了一种多Agent协作的智能搜索引擎系统构架,并将其置于一个共享空间中,实现透明、灵活的协作搜索.以该搜索引擎系统架构为基础,通过采用下挖式及动态、模糊查询方式实现了档案管理系统中的搜索引擎功能.     

垂直搜索引擎主题爬虫搜索策略研究

主题爬虫是垂直搜索引擎的关键构建,其搜索算法的优劣直接影响到搜索引擎的查全率和查准率。本文简要介绍了垂直搜索引擎中主题爬虫的工作原理;归纳了常见的几种搜索策略算法;分析了主题爬虫的搜索策略的特点,并比较了几种搜索策略的优缺点;总结了提高主题爬虫搜索效率的关键因素及发展趋势;为后期的学习和研究打下基础。     

面向主题的域内垂直搜索引擎系统的研究与实现

根据校园舆情和信息安全管理的需要,结合垂直搜索的特点,提出了一种面向主题的域内垂直搜索引擎模型.给出了模型在信息采集、分词处理、主题识别、网页索引、检索处理5个功能模块的实现过程,并对模型涉及的中文分词方法、隐形关键词组的扩展运算、检索正态化因子的调整等关键技术进行了讨论.建成的搜索引擎能够很好地满足用户主题检索服务的需要.     

基于主题划分的搜索策略设计与研究

在P2P网络结构中,提出一种基于主题划分的搜索策略(TONS),该策略基于主题将网络中的节点层次化、形成叠加网络.具体查询算法包括基于DHT的非结构化P2P网络和基于主题划分的叠加网络搜索索引结构.实验结果表明:包含相似主题的节点联系在一起,这样就能够确保将搜索局限在仅与查询主题相关的节点子集中.该策略为基于分布式哈希表的P2P系统提供了一种可满足复杂查询条件、部分匹配搜索数据要求的有效途径.     

并发多元搜索引擎的研究与应用

多元搜索引擎能够有效利用多个搜索引擎的搜索与集成资源能力．文章首先分析了现有多元搜索引擎的局限性,然后提出并发多元搜索引擎的改进方案,阐述了并发多元搜索引擎的结构、关键技术,以及在外文电子资源统一检索平台系统中的应用．该引擎实现了高效的查询请求分发与结果处理,具有较好的并发处理能力和效率．     

基于Scrapy和Elasticsearch的校园网搜索引擎的研究与实现

针对通用搜索引擎无法及时收录校园网内信息和收录时间滞后的问题,基于Scrapy框架和Elasticsearch全文搜索引擎,提出了一个完善的校园网搜索引擎解决方案。该文主要分析了Scrapy的运行流程,对Elasticsearch的搜索机制进行了研究,在此基础上设计了校园网搜索引擎的系统架构,给出了系统的网页抓取模块、索引检索模块、页面展示模块的关键实现技术。最后通过实验验证,相比于传统的通用搜索引擎,该文设计的校园网搜索引擎的搜索结果相关性更好,数量更多,对于校园网内新信息的收录情况更好。     

基于本体语义的定题爬虫

定题爬虫能迅速获取网络上特定主题的大量信息，对专业搜索引擎及数据挖掘应用都具有重大价值.针对目前通用的基于关键词主题过滤策略的不足，在概念聚集思想启发下，提出了基于本体语义的主题过滤策略.同时根据网页具有不同位置不同信息重要性的特点，提出了改进的加权特征项权值计算公式，实现基于语义的网页实时过滤.为进一步提高爬虫的工作效率提出链接相关度预测算法.对比实验表明此策略具有可行性.     

一种新型垂直搜索引擎构建方法

如何有效地构建面向领域的垂直搜索引擎,是信息检索领域众多研究者关注的问题．本文提出了一种通用的基于专业词汇表构建垂直搜索引擎的方法,通过分析网页特征,提出了基于链接结构和文本内容的启发式网页爬取策略．该策略结合网页的结构信息特征,在网页和主题相关度计算中考虑了特征词汇在网页中的权重,有效地提高了专业搜索引擎的查询效率．通过具体实现一个面向医疗领域的垂直搜索引擎,验证了本文所提出的方法的有效性．