基于概念空间的领域信息爬虫设计研究

Web信息的急剧增长使搜索引擎专用化成为发展趋势.采用了基于概念空间的主体爬虫结构,构造了一个快速、有效的主题信息搜索机器人系统.试验结果表明,该方法具有较高的召回率和精确率.     

基于兴趣模型的主题搜索机器人技术探讨

提出了一种采用基于兴趣模型的搜索策略的主题搜索机器人,用候选URL的web网页权值代替入链web网页的内容,在进行搜索的过程中它能学习环球网的链接结构特征,搜索属于特定语义相关主题的重要、web网页的环球网子集.     

化工行业信息搜索技术的研究

面向行业主题的搜索在特定主题信息覆盖方面与通用搜索引擎有着截然不同的要求,为解决行业信息搜索的问题对基于向量空间算法的化工相关度计算以及对经典的Page-Rank页面排序算法做了研究与改进并且在Nutch搜索引擎架构基础上,搭建了一个面向化工行业信息资源的垂直搜索引擎。相对于通用搜索引擎来说剔除掉了不必要的搜索结果信息量,提升了系统速度,提高了行业信息搜索的准确度。     

智能主题搜索算法研究

分析了4种智能主题搜索算法,对基本遗传算法进行了改进,并将改进的遗传算法应用到主题搜索中,通过改进遗传算子来提高搜索的主题相关度和爬行的准确率.     

基于网页分块技术主题爬行器的实现

针对目前通用搜索引擎搜索到的结果过多、 与主题相关性不强的现状, 提出一种基于网页分块技术的主题爬行器实现方法, 并实现了一个原型系统Crawler1. 实验结果表明, 本系统性能较好, 所爬网页的相关度在55%以上.     

面向教育主题的垂直搜索引擎的设计与实现

由于通用搜索引擎具有搜索信息量大、查询不准确、深度不够等缺点,本文在通用搜索引擎技术的基础上,依据专业领域搜索策略,设计并实现了一个面向教育主题的垂直搜索引擎系统,着重研究了专业网络蜘蛛定制、基于VSM的主题相关度算法和倒排索引建立等关键技术及其实现细节。实验结果表明,该系统能够快速地响应用户的查询请求,并且返回结果具有较高的准确性。实现了教育资源的共享,具有较高的应用价值。     

面向教育主题的垂直搜索引擎的设计与实现

由于通用搜索引擎具有搜索信息量大、查询不准确、深度不够等缺点,本文在通用搜索引擎技术的基础上,依据专业领域搜索策略,设计并实现了一个面向教育主题的垂直搜索引擎系统,着重研究了专业网络蜘蛛定制、基于VSM的主题相关度算法和倒排索引建立等关键技术及其实现细节.实验结果表明,该系统能够快速地响应用户的查询请求,并且返回结果具有较高的准确性.实现了教育资源的共享,具有较高的应用价值.     

基于语义主题搜索引擎系统研究

随着互联网的信息以指数级增长,用户希望搜索引擎能够提供面向专业的更准确智能搜索服务,主题搜索引擎的研究显得越来越有意义。本文对基于本体语义主题搜索引擎系统的关键技术进行研究。首先建立主题搜索引擎系统流程,对主题网络爬虫,网页主题相关度、网页主题分类进行了算法研究。最后以服装纺织领域的主题搜索实现为例,说明主题搜索引擎系统能更准确快速实现专业搜索服务。     

基于主题划分的搜索策略设计与研究

在P2P网络结构中,提出一种基于主题划分的搜索策略(TONS),该策略基于主题将网络中的节点层次化、形成叠加网络.具体查询算法包括基于DHT的非结构化P2P网络和基于主题划分的叠加网络搜索索引结构.实验结果表明:包含相似主题的节点联系在一起,这样就能够确保将搜索局限在仅与查询主题相关的节点子集中.该策略为基于分布式哈希表的P2P系统提供了一种可满足复杂查询条件、部分匹配搜索数据要求的有效途径.     

基于概念树的主题爬取技术研究

提出了一种新型主题爬取方法。采用概念树构造主题层次图,赋予待爬取URL对象以层次语义信息,按照语义相关性与重要性选择待爬取URL对象,搜索属于特定语义相关主题的重要Web文档的WWW子集。     

A New Framework for Focused Web Crawling

Focused crawlers are important tools to support applications such as specialized Web portals, online searching, and Web search engines. A topic driven crawler chooses the best URLs and relevant pages to pursue during Web crawling. It is difficult to deal with irrelevant pages. This paper presents a novel focused crawler framework. In our focused crawler, we propose a method to overcome some of the limitations of dealing with the irrelevant pages. We also introduce the implementation of our focused crawler and present some important metrics and an evaluation function for ranking pages relevance. The experimental result shows that our crawler can obtain more ＂important＂ pages and has a high precision and recall value.     

面向P2P搜索的可定制聚焦网络爬虫

提出了一种可定制聚焦网络爬虫技术.该技术采用简单的主题描述方法提高网络爬虫的可定制性,利用基于站点页面链接结构的链接导航技术实现对主题信息的高效抓取,通过配置文件实施定制,从而构建一个资源消耗小、数据采集准确性高、可控性强的轻量级聚焦网络爬虫,以满足P2P搜索的需求.文中进一步提出一种增量更新和批量更新相结合的网络爬虫数据更新机制,这种混合更新机制降低了增量更新的实现复杂性,相比批量更新具有更小的资源消耗,实验表明采用这种机制能达到较高的数据新鲜度和召回率.     

移动互联网用户行为分析系统中聚焦爬虫的设计与实现

在移动互联网用户行为分析系统中,为了使深度包检测(deep packet inspection,DPI)进行有效地数据匹配,对用户行为进行更深层次的分析,达到不仅能识别出业务网站类型而且还识别出业务网站访问具体内容的目标,设计出一种能进行具体内容级别上特征爬取和提炼的爬虫模块.针对特定业务网站,考虑广义爬取对技术和存储要求高的缺点以及针对某一行业的爬虫系统得到数据有限的不足,设计并实现了一种基于特定页面分析的聚焦爬虫模块.该爬虫模块采用模块化的思想,使用多线程多任务,精确高效地爬取特定业务网站信息,为DPI匹配提供数据支持.经过测试验证,该爬虫模块达到了预期的要求,可维护性、可扩展性和实时性强,满足移动互联网用户行为分析系统对特征数据提取的需求.     

表格信息在主题爬行中的作用

采用计算向量之间相似度的方法, 通过实验分析验证了表格信息在主题爬行中的重要性. 研究结果表明, 与整个网页相比, 表格所能提供的与用户相关的信息占整个网页信息总量的80％以上, 因而在主题爬行领域可以充分利用这一结论进行网页解析. 在舍弃除表格和标题之外的其他元素后, 提高了爬行程序的效率.     

考试信息垂直搜索引擎设计与应用

设计的垂直搜索主要为考试信息服务,在Lucene的基础上对爬虫模块、信息提取模块、中文分词模块、索引模块都选择了贴合考试信息的开源模块,并在检索模块上做了改进,在查准率和查全率上比传统搜索有优势.     

聚焦超声治疗子宫颈糜烂218例观察

目的：探讨聚焦超声治疗子宫颈糜烂的有效性和安全性。方法：采用聚焦超声治疗技术共治疗慢性宫颈炎患者407例，观察其临床症状、体征及疗效。结果：超声治疗慢性宫颈炎的一次治愈率为53．21％，总有效率达到95．88％。宫颈糜烂程度越轻痊愈率越高，轻度、中度糜烂治愈率明显高于重度糜烂，（P〈0．05，P〈0．05）。宫颈糜烂单纯型治愈率明显高于颗粒型和乳头型（P〈0．05，P〈0．025）。术后阴道流液和血性分泌物量少、时间短；治愈后宫颈恢复常态，无瘢痕形成。结论：聚焦超声治疗是一种有效的可供临床医生选择的治疗慢性宫颈炎的新方法。     

网络爬虫技术研究

网络爬虫为搜索引擎从互联网上下载网页,是搜索引擎不可或缺的组成部分.介绍网络爬虫的分类、工作原理及存在的问题,并对主题爬虫进行了详细设计,最后总结了设计高性能网络爬虫需要解决的技术难题.     

高能聚焦超声治疗宫颈糜烂179例分析

目的探讨聚焦超声用于治疗宫颈慢性的有效性及安全性。方法采用CZF型超声波治疗仪（海极星）对179例慢性宫颈炎患者进行聚焦超声治疗的临床观察,比较治疗前后临床症状的变化,以及宫颈糜烂面积的改变,综合评价聚焦超声治疗的临床疗效。结果聚焦超声治疗后,白带增多,性交后出血等症状基本缓解,总有效率99．45％,治愈率65．92％。聚焦超声治疗后,宫颈局部组织有短暂的渗出性炎症反应,阴道排液的时间约5～21d,1月后可基本恢复正常;无组织结痂脱落出血的过程,无宫颈瘢痕形成。结论高能聚焦超声波能安全有效地治疗慢性子宫颈炎。     

Relationship between the exposure dose of high intensity focused ultrasound and the heated necrosis element

Heated necrosis element of tissues is the basis for treating tumor by high intensity focused ultrasound (HIFU), so study on the relationship between the HIFU exposure dose and the heated necrosis element of tissues is of great significance for both HIFU clinical applications and basic research. Using Pennes and Rayleigh formulae the relationship between the exposure dose of an annular focused transducer and the heated necrosis element (I.e. Biological focused region) in a bovine liver in vitro at a depth of 2 cm is simulated in an exposure dose range with radiation sound intensity of 7000～25400 W/cm2 and exposure time of 0～20 s. The theoretical results appear to be in quite good agreement with the experimental ones. It is shown that on the basis of existing theories the heated necrosis element produced by HIFU exposure can be predicted. The deviation of the theory from the experiments under higher exposure dose has also been discussed.