基于内容图像检索系统的性能改进方法

在通用型的CBIR原型系统的基础上,首先讨论CBIR系统的性能指标,并对CBIR系统的检索性能改进方法 进行了研究;然后重点讨论了异种特征的组合查询和相关反馈两种性能改进技术,并使用原型系统对以上两种技术进行了测试,使图像检索的查准率和查到率得到明显改善,并有效地增强了CBIR系统的灵活性。     

于内容图像检索系统的性能改进方法

在通用型的CBIR原型系统的基础上,首先讨论CBIR系统的性能指标,并对CBIR系统的检索性能改进方法进行了研究;然后重点讨论了异种特征的组合查询和相关反馈两种性能改进技术,并使用原型系统对以上两种技术进行了测试,使图像检索的查准率和和查到率得到明显改善,并有效地增强了CBIR系统的灵活性.     

多线程Web图像搜索器的磁盘I/O缓冲方法

频繁的磁盘I/O操作导致多线程Web图像搜索器的性能显著下降,为此提出一种磁盘I/O缓冲方法,它包括待采URL的双队列缓冲和图像存储与URL存储中的循环缓冲池等2种措施.在URL待采队列中采用双队列缓冲,当其中一个队列处于使用状态时,另一队列执行从磁盘读取新URL的操作,使得各个线程可以不间断地获取URL.2个循环缓冲池分别用于图像和URL磁盘存储操作中,其工作原理相同.实验结果显示,磁盘I/O缓冲方法显著改善了多线程Web图像搜索器的性能.     

一种基于XML描述的医学影像存储检索方法

随着医学影像技术的不断发展,医学影像在医疗中发挥越来越重要的作用,医院每天产生的医学影像数量越来越庞大,如何管理这些海量的医学影像成为了医院面临的重大问题。提出了一种基于XML描述的医学影像存储检索方法:通过提出的一种三要素模型对医学影像进行语义描述,同时采用一种基于XML的检索方法来实现对医学影像的存储检索。最后,设计实现了一个支持XML描述的医学影像存储检索原型系统,并通过实验验证了文章所提出的方法的有效性。     

集成信息CAD系统的实现

对集成信息ＣＡＤ系统中的知识表达、存储与传递作了详细的论述,实现了基于Ingernet的知识快速获取,利用ＢＰ神经网络实现了基于功能驱动的知识检索,给出了实现集成信息ＣＡＤ系统机制的原型系统,为实现快速知识获取,提高产品设计、开发速度提供了一套有效的解决方案。     

学习内容管理系统原型系统设计与实现

从新一代网络教育系统解决方案的系统架构入手，结合网络教育的实际情况，给出了学习内容管理系统(LCMS)原型系统的体系结构，并重点针对标准化内容制作模块、学习对象存储和内容检索与动态发布3个模块阐述了系统的设计原理，提出了基于XML存储和Tamino数据库的实现方法．     

基于词汇相关度模型的个性化信息检索算法

使用词汇之间的"相关度"来存储单个用户的个性化信息,提出了能够在用户进行检索的过程中利用用户偏好自动建立针对该用户的"词汇相关度网"的方法,以及3种不同的利用词汇相关度对底层搜索引擎所返回的结果进行重新评估并进行个性化排序的策略.在此基础上,提出了基于词汇相关度模型的个性化信息检索算法.设计了原型系统,对算法的相关性能进行了测试,结果显示,所提出的词汇相关度模型能正确存储和构造词汇之间的相关度,所提出的检索算法正确.     

河道健康管理本体模型构建与数据存储方法设计

河道的有效管理是维持河道健康生态状况的前提条件。针对河道健康数据存在的跨部门管理、存储效率低下、语义信息被忽略等问题，提出了一种基于本体的河道健康数据存储方法。构建了河道健康领域的本体模型，设计了基于Neo4j图数据库的河道健康数据存储方法。以上海市宝山区河道为例，开发了河道健康可视化原型系统，实现了河道健康本体数据在概念、关系、属性和实例的存储与查询。设计了2种不同本体存储方式查询效率的对比试验，验证了本文方法的有效性和可行性。     

基于MapReduce的网络爬虫设计与实现

针对单机爬虫效率低、可扩展性差等问题,本文设计并实现了一种基于MapReduce的网络爬虫系统。该系统首先采用HDFS和HBase对网页信息进行存储管理,基于行块分布函数的方法进行网页信息抽取;然后通过URL和网页信息相似度分析相结合的去重策略,采用Simhash算法对抓取的网页信息进行相似度度量。实验结果表明,该系统具有良好的性能和可扩展性,较单机爬虫相比平均抓取速度提高了4.8倍。     

一种基于词与简单路径XML索引系统的设计

文章在简要介绍XML技术的基础上,设计了一个运用XML技术解决法律文件全文检索的系统架构,通过词与简单路径建立XML法律文件的索引,加快了检索的速度,提高了效率,并在.net环境下实现了该系统的原型。     

深层网网络爬虫表单检测器设计

传统网络爬虫只处理页面中的超链接,而忽略了大量有价值的深层网搜索表单。本文设计了一个表单检测器用于检测搜索表单,介绍了其功能模块及具体实现,最后用实验验证该检测器的有效性。     

一种高性能分布式Web Crawler的设计与实现

介绍了一种大规模、高性能、分布式的Web信息搜集器的设计及其Java实现．提出了Crawler设计中数据结构、系统功能模块和相关算法新的设计思想；对设计与实现过程中需要解决的关键问题分布式协调机制、基于内存的URL存储管理等进行了讨论，并提供了现阶段的设计、实现方法和分布式无损链接分析算法．     

移动互联网用户行为分析系统中聚焦爬虫的设计与实现

在移动互联网用户行为分析系统中,为了使深度包检测(deep packet inspection,DPI)进行有效地数据匹配,对用户行为进行更深层次的分析,达到不仅能识别出业务网站类型而且还识别出业务网站访问具体内容的目标,设计出一种能进行具体内容级别上特征爬取和提炼的爬虫模块.针对特定业务网站,考虑广义爬取对技术和存储要求高的缺点以及针对某一行业的爬虫系统得到数据有限的不足,设计并实现了一种基于特定页面分析的聚焦爬虫模块.该爬虫模块采用模块化的思想,使用多线程多任务,精确高效地爬取特定业务网站信息,为DPI匹配提供数据支持.经过测试验证,该爬虫模块达到了预期的要求,可维护性、可扩展性和实时性强,满足移动互联网用户行为分析系统对特征数据提取的需求.     

分布式文件系统性能研究

随着海量数据存储和I/O密集型应用的发展,I/O越发成为了分布式存储系统的性能瓶颈,分布式文件系统是解决I/O瓶颈问题的重要途径。如何系统地研究分布式文件系统的性能因子和优化方案,是一个重要研究课题。本文系统地阐述了分布式文件系统的性能研究现状,挖掘并分析了分布式文件系统的关键性能影响因子,为分布式文件系统的设计和性能优化研究提供支持。     

一种增量倒排索引结构的设计与实现

针对主题爬行器获取网页更新速度快的特点, 提出一种用于网络搜索引擎的增量索引结构. 在建立倒排索引时, 每个词项的记录表以链接块的形式存放于倒排索引文件中, 每次新分配的块大小递增. 该索引结构解决了倒排索引连续存储所带来的难以更新问题. 实验结果表明, 与支持实时更新的传统链表式存储方式相比, 这种索引结构能提供更高效的检索, 采用以空间换时间的方法有效地提高了索引的更新效率.     

基于对象存储的集群文件系统CFSlight设计与实现

在线存储以及数据密集型应用的发展,对信息存储性能的要求越来越高,分布式存储系统是应对数据存储需求的重要研究方向.基于对象存储技术和Linux操作系统平台设计与实现的集群文件系统CFSlight,能够有效提高存储系统的可扩展性、I/O性能、可用性等技术指标,具有很好的发展前景.     

基于URL的Web集群分配策略

Web任务的分配影响Web服务器集群系统的整体性能。常用的分配方法是对用户的URL请求,根据服务器数量进行轮询分配。这种策略影响缓存的命中率和服务器性能的发挥。在分析了Web站点中文件的组织方式及用户对Web请求特征的基础上,提出了基于URL分配树的LT分配策略,根据URL地址构建URL分配树,对用户的请求进行响应。同时考虑任务的处理代价,各服务节点服务能力和当前负载状况,对服务节点进行负载均衡的任务分配。本文从缓存队列剩余、请求任务溢出情况和轮询分配策略进行了比较,实验表明本文的分配策略能根据服务节点的服务能力、负载状况进行合理地分配,实现了负载的真正均衡,提高了系统整体吞吐量。     

林业资源数据集群的快速索引设计

设计一种快速索引以管理分布存储的林业资源数据, 通过大量独立数据节点共同负载数据请求, 减少数据访问过程的互斥, 实现了空间与属性数据的分布式存储并行访问. 实验结果表明, 基于目前的应用服务器集群, 应用该快速索引方法, 能以较低的改进成本提高整个数据集群的快速统计和更新能力.