基于Heritrix与Solr的就业主题搜索引擎的研究与优化

随着信息化步伐的加快,网络求职越来越普及,通用搜索引擎以及招聘网也成为大学生获取就业信息的主要渠道。针对大多通用搜索引擎搜索的就业信息精准度不高以及招聘网站内容繁杂等问题,研究面向大学生的就业主题搜索引擎系统。借助Heritrix爬虫工具以及Solr全文搜索引擎进行二次开发,并对Heritrix爬虫工具默认的爬取策略以及队列分配策略进行优化,同时引入IK Analyzer改进Solr的中文分词的准确率。系统原型测试结果表明,系统具有较好抓取效率以及查准率。     

垂直搜索引擎技术进展

随着网络与通信技术的迅速发展,为了满足人满对特定领域信息的个性化需求,更具有针对性的垂直搜索引擎应运而生。本文介绍了垂直搜索引擎,并对垂直搜索引擎的核心技术垂直网络蜘蛛技术和信息抽取技术作了介绍,最后进行了总结和展望。     

面向中等职业教育的垂直搜索引擎的分析与研究

网络技术的飞速发展,使人们对信息的接收方式发生了翻天覆地的变化。搜索引擎已经成为人们查询信息的主要方式。同时对于查询的速度,准确率提出了更高的要求。由此各种针对某一行业的垂直搜索引擎为此应运而生。目前面向教育的垂直搜索引擎已经有了很大的发展。但是针对中等职业教育的垂直搜索引擎还很少。该文通过对垂直搜索引擎的核心技术分析、研究,设计了面向中等职业教育的垂直搜索引擎的系统结构,并对其中涉及的关键技术:Web搜集器、信息抽取技术、中文分词和检索技术进行了深入研究,期望对推进该领域的技术发展作出一定的贡献。     

对垂直搜索引擎X公司投资可行性的评估

搜索引擎分成综合搜索引擎(如百度、谷歌)和垂直搜索引擎.垂直搜索引擎技术,也被称为专业或专用搜索引擎,就是专为查询某一个学科或主题的信息而产生的查询工具,专门收录某一方面、某一行业或某一主题的信息,在解决某些实际查询问题时比综合搜索引擎较有效.     

垂直搜索引擎及其个性化推荐研究

针对通用搜索引擎在当前网络搜索应用中出现的搜索结果冗余度过大、信息定位不准确的问题,对垂直搜索引擎进行了研究,剖析了通用搜索引擎和垂直搜索引擎的体系结构,比较了两者的工作流程和搜索结果进行,利用垂直搜索引擎专注于某一领域从而降低了＂一词多义＂现象的特性,有效提高了查全率和查准率。针对垂直搜索引擎在无法满足不同用户的个性化需求方面的不足,分析了垂直搜索引擎的个性化信息检索和推荐技术,然后从实际应用出发,设计和实现了基于用户和文档特征向量矩阵的个性化检索和推荐算法。     

基于时效性的垂直搜索及其应用

基于时效性信息的特征,构建了一个用来提高专业搜索的"查全、准、新率"的垂直搜索引擎. 以航空机票价格为例,分析了时效性信息的获取和过滤技术,并给出了基于时效性垂直搜索引擎的关键程序.     

基于垂直搜索引擎的旅游线路评价模型的设计

本文设计了一个基于垂直搜索引擎技术的旅游线路评价推荐模型系统。该系统首先采用垂直搜索引擎技术针对旅游行业网站抓取特定信息,提取旅游路线及相关旅游资讯信息,并辅以人工资讯录入方式,建立旅游路线、旅游资讯数据库。     

一种新型垂直搜索引擎构建方法

如何有效地构建面向领域的垂直搜索引擎,是信息检索领域众多研究者关注的问题．本文提出了一种通用的基于专业词汇表构建垂直搜索引擎的方法,通过分析网页特征,提出了基于链接结构和文本内容的启发式网页爬取策略．该策略结合网页的结构信息特征,在网页和主题相关度计算中考虑了特征词汇在网页中的权重,有效地提高了专业搜索引擎的查询效率．通过具体实现一个面向医疗领域的垂直搜索引擎,验证了本文所提出的方法的有效性．     

化工行业信息搜索技术的研究

面向行业主题的搜索在特定主题信息覆盖方面与通用搜索引擎有着截然不同的要求,为解决行业信息搜索的问题对基于向量空间算法的化工相关度计算以及对经典的Page-Rank页面排序算法做了研究与改进并且在Nutch搜索引擎架构基础上,搭建了一个面向化工行业信息资源的垂直搜索引擎。相对于通用搜索引擎来说剔除掉了不必要的搜索结果信息量,提升了系统速度,提高了行业信息搜索的准确度。     

基于Lucene的全文搜索引擎的设计与实现

一、引言搜索引擎是指根据一定的策略、运用特定的计算机程序从互联网上搜集信息,在对信息进行组织和处理后,为用户提供检索服务,将用户检索相关的信息展示给用户的系统。搜索引擎可分为全文索引、目录索引、元搜索引擎、垂直搜索引擎等。全文搜索引擎是目前广泛应用的主流搜索引擎,国外代表有Google,国内则有百度。     

基于Lucene的高校图书垂直搜索引擎的研究与实现

垂直搜索引擎是针对某一个特定领域的专业搜索引擎,是搜索引擎的细分和延伸.垂直搜索引擎可以帮助用户在海量数据中进行快速、专业、精准的检索.文章实现了基于Lucene技术的山西高校图书垂直搜索引擎,其可以为读者提供专业的图书信息检索服务.     

垂直搜索在个性化Web搜索中的应用

本文先介绍了个性化Web搜索,然后根据个性化Web搜索提出的要求引出了垂直搜索技术,并探讨了与通用搜索引擎相比较而言．将垂直搜索应用于个性化Web搜索的优越性。最后介绍了垂直搜索中的关键性技术,即信息提取技术,并着重给出了基于网页布局和关键字段的信息提取技术。     

一种基于本体的垂直搜索引擎系统模型

为了弥补互联网信息爆炸带来的搜索引擎用户满意度低的问题,提出了一种基于本体的垂直搜索引擎模型。该模型构建一个本体知识树,利用增加了属性提取和相似度算法的NWeb-Crawler对网页进行抓取,并将非相关信息进行隔离;然后,进行网页源代码格式信息和语义信息两方面的抽取;抽取的数据信息通过分词后建立二维索引表,用户的请求通过本体知识树扩展概念集和二维索引表进行检索。该系统模型从入口网页到出口数据逐步贴近检索需求,具有良好的扩展性,对垂直搜索引擎的研究有一定的参考借鉴作用。     

基于电子商务垂直搜索的网站交互界面设计

根据行业特点及交易需要,对传统的零批搜索进行改版,改造为适合行业搜索交易频道,创建专业的电子商务垂直搜索,并把传统的信息聚合平台转型为在线采购批发交易平台。对现有的功能需求,信息架构,视觉色彩,用户体验等,做多视角、多纬度的分析。力求在新的电子商务网站上线后,实现一个电子商务垂直搜索用户交互界面。     

A simple implementation of distributed vertical search and information integration technology

The paper proposes the research on the distributed vertical search and information integration technology based on Web mining, which aims at satisfying the requirements of the specific fields’ applications. Nowadays, mining, analyzing, and integrating Web’s content have become an important trend for daily use. The technique includes the Map/Reduce model, the depth search, and the basic principles of information integration. The focus of the paper is how to implement the distributed vertical search engine based on Map/Reduce technology and the information integration system. System optimization mechanism and the system test are also proposed.     

使用Heritrix和Lucence的全文检索解决方案

对全文检索技术进行了介绍,提出了一种基于网络爬虫Heritrix和开源全文信息检索包Lucence的全文检索解决方案.该方案将Web应用中经常用到的全文检索功能进行封装,使其可以很方便地被集成到Java EE项目中.本方案被用于校园网内容检索功能的实现,实践证明,该解决方案简单易用、应用效果较好.     

不同年龄段人群驾驶分心时的视觉特性分析

针对驾驶过程中浏览车载信息系统次任务时引发的驾驶分心问题,研究聚焦不同年龄段驾驶员的视觉注意资源分配策略,分析在动态视觉信息源的刺激下发生驾驶分心时的视觉行为表征。通过视觉搜索的实验方法,模拟驾驶过程中驾驶员浏览车载信息系统次任务的视觉行为过程,并分别测量了横向和纵向两种车载中控屏摆放方式下的参试者视觉特性数据与搜索绩效数据。通过分析驾驶员浏览车载信息系统次任务时视觉注意资源的分散程度,以衡量其在行程中的驾驶分心程度,在此基础上提出有益于缓解驾驶分心行为的车载中控屏视觉区域。实验结果表明:横向中控屏测试中,参试者在上部区域的平均视觉搜索反应时长为641.92 ms,眼动数据显示,注视点集中分布于上部区域。纵向中控屏测试中,参试者在下部区域的平均视觉搜索反应时长为751.75 ms,眼动数据显示,注视点集中分布于右侧区域。年龄在59～68岁这个范围的老年参试者在执行模拟浏览车载信息系统次任务时的视觉搜索反应时长更长,平均为11 639.57 ms,注视点分布更分散。可知,在横向中控屏的上部区域与纵向中控屏的下部区域的反应时间更长,在横向中控屏的上部区域与纵向中控屏的右侧区域交叉的占用的注...