一种基于分区缓存的海量数据检索方法

针对交通综合应用系统中车辆数据的采集频率高、汇集速度快的特点,提出一种海量数据的分区缓存检索方法。该方法采用分区表技术,通过并发检索和缓存机制,实现了海量数据的快速检索。通过试验分析,该方法可以有效提高车辆数据的检索速度。     

基于智能代理的信息检索机制在"数字城市"中的应用

如何在海量的数据中找出我们需要的信息,是"数字城市"中急需解决的一个重要问题.在"数字成都"建设中,通过具有一定智能性的搜索策略建模,实现对元数据库的快速检索、数据的快速下载、数据的交互预览和信息缓存机制,构造由Web访问服务器和Web数据服务器两部分组成的智能代理搜索引擎,具有任务解析、数据踪迹的保留、数据缓存的特点.     

Deep Web技术在科学数据共享平台中的应用

Deep Web中蕴含了海量的可供访问的信息,并且还在迅速地增长。随着互联网应用的发展,网上的在线数据库大量涌现,Deep Web数据集成成为当前信息领域的一个研究热点。为了方便用户查询数据,对Deep Web技术的应用进行了研究,提出了Deep Web技术在科学数据共享平台中的架构,并阐述了具体的实现。     

中间件中语义缓存技术研究

数据库中间件语义缓存技术是提高数据访问性能的重要技术之一.缓存技术通过对用户访问数据信息的访问特征的分析,充分地利用数据的可复制性和可共享性,在适当的位置将数据复制并保存下来,尽量避免重复访问远程数据信息,进而提高了数据的使用效率.本文讨论了数据库中间件语义缓存的基本概念与关键技术.     

基于XML探讨Web数据挖掘技术

Internet上有海量的数据信息,有效地应用这些海量数据成了数据库技术的研究热点,Web数据挖掘技术应运而生。XML数据自我描述以及XML的半结构化的数据模型,可以很容易地将XML的文档描述与关系数据库中的属性一一对应起来,实施精确地查询与模型抽取,从而解决Web数据内容挖掘的难题。随着XML作为在Web上交换数据的一种标准方式的出现,面向Web的数据内容挖掘将会变得轻松。     

基于自适应数据广播的缓存一致性维护

为了提高移动环境中缓存数据的效率,在分析现有技术的基础上,提出了基于自适应数据广播的缓存一致性维护.将数据的访问形式分为共享和独占两种,根据数据访问形式以及数据的更新频率,采用定时、计数以及数据状态等三种方法,动态地调整服务器广播更新数据的频率和内容.通过数据库中事务的可串行化操作,对该方法的正确性进行了理论证明,并通过具体的系统验证了其效率.该方法可以在各种无线网络环境中应用,为无线应用提供数据缓存.     

基于RDF的海量语义数据管理研究

随着Web信息呈指数级增加,目前存储模式已难以适应大规模RDF数据高效存储的需求。本文通过对语义万维网结构以及RDF语义文件存储和查询技术的研究,分析了海量语义数据管理的研究领域和现状,提出了基于RDF的海量数据管理框架。该框架旨在实现对海量数据的管理,以解决RDF数据管理中存在存储设计难度大,查询处理复杂且效率低,查询结果排序困难的问题。     

Web访问挖掘中数据预处理的改进

在分析现有的Web访问挖掘数据预处理模型和会话识别算法的基础上,提出了一种改进的Web访问挖掘数据预处理模型并对基于时间和引用的启发式会话识别算法进行了改进。实验证明,改进的Web访问挖掘数据预处理模型和会话识别算法非常适合于当前搜索引擎广泛使用下的Web访问挖掘数据预处理。     

UCM-PPM:基于用户分级的多参量Web预测模型

Web在过去数十年飞速发展,其低延迟和快响应的特性已经变得越来越重要.面对这样的需求,通常会预取用户即将访问的文件到缓存中,利用代理服务器缓存来获取数据,避免网络堵塞,提高Web访问效率.可见,在预取技术中,一个有效的预测模型是非常有必要的.针对目前缓存预取工作对用户差异关注度不足和度量指标单一化的薄弱环节,提出一个基于用户分级化的Web预测模型,并且能够随着Web请求进行多参数动态调整.该模型通过对代理服务器上用户访问情况分布的变化趋势分析,将用户集分为重要性不同的若干等级,并适当利用序列相似度来聚类低贡献用户产生的会话,之后在部分匹配预测模型的基础上,结合缓存替换策略为预测树结点构造包含多个参量的目标函数,并使构建好的模型能够进行自适应调整.最后通过实验证明该模型可以有效提高缓存的预取性能.     

一种基于信任度量的Web服务跨域访问控制模型

Web服务具有开放性、高度动态性、松散耦合性及跨平台性等特点,传统的访问控制方式已不能满足其跨域访问的安全需求。通过集成信任管理及可信平台度量扩展了XACML访问控制模型,提出基于信任度量的跨域访问控制模型。该模型在对用户统一身份认证的基础上,通过分析用户历史访问行为,引入用户信任度、平台配置完整度和域间信任度,提高了跨域访问控制的动态性和安全性。同时,给出了域内信任度管理点和跨域信任度管理点两个功能模块的具体实现描述,采用信任度缓存实时更新的方法分析了海量历史访问行为的复杂度问题,提高了系统效率。     

当代体育研究中数据挖掘技术的应用

数据挖掘能从海量的数据资源中提取有用的知识和信息,为决策服务,是一门富有实效、具有强大生命力的新兴信息技术。当今的体育研究,数据信息量如浩瀚的海洋,与日激增,数据挖掘技术在体育领域的应用极具必要性,它的发展前景十分广阔。     

数据网格环境下基于语义的处理机制

为了克服现有数据网格体系中对数据源支持的不足,提出了一种基于语义的数据网格处理机制;给出了在OGSA和OGSA-DAI数据网格体系结构上支持基于语义的数据处理系统总体结构,包括利用基于本体的语义来封装各个异质数据源;通过Mediator-Wrapper结构实现了对各种异质数据源的支持,并构建虚拟数据源VDS来支持OGSA-DAI接口标准.讨论了基于语义的数据访问机制:利用语义知识扩展XML查询语言实现语义层次的数据访问能力;设计了新型的网格通信语言支持各结点在知识层面进行合作与协调.     

城市地理信息矢量标图系统的设计与实现

介绍了基于MapObjects的城市地理信息矢量标图系统．给出了该系统的研发方案、总体框架结构和功能需求．根据矢量标绘对象的数据特征，建立了矢量标图的数据模型，并从矢量标图的数据处理、空间地图的数据存取与辅助功能、矢量标图绘制、主体框架4方面分析了系统设计．介绍了系统的数据结构及功能的具体实现．该系统是为赣州市政府人防办工程建设进行城市地理标绘而设计的，目的是为提高城市地理标绘的精确性和快捷性．     

基于XML数据岛的客户端数据操作的实现

XML数据岛是网页设计中处理XML数据的新技术．介绍了XML数据岛的概念，讨论了Web页中XML数据绑定的原理和实现，并给出了基于XML数据岛和XML数据绑定技术在客户端实现各种数据操作的方法和代码．     

A Framework of Web Data Integrated LBS Middleware

0 IntroductionRecently,the advance of wireless Internet and mobilecomputing has brought out various mobile services ,among whichlocation-based services (LBS) will be the killerapplications as 3G era comes . Such LBS applications includemobile yellowpage service (nearby service) , E-coupon serv-ice, mobile buddy-list service, traffic navigation, child/pettracking,emergency support service,location-based ads/newssubscribing,and evenlocation-based games .In order to make those applications wo…     

一种基于XML的异构数据源集成的方法与实现

异构数据源的集成问题是当前数据处理领域内研究的一个热点，它能更有效地利用信息资源、实现数据共享，文章提出了一种基于XML为中间件的异构数据源集成的方法，并予以实现，首先介绍系统整体框架结构的层次模型和每一层的服务功能，然后对其中的关键问题，如模式转换和XML中间件技术做了详细说明，并结合实例进一步说明了模式间的映射算法以及转换器的具体实现。     

Spark框架下交通流数据高效处理方法及其应用

设计并实现基于Spark的交通流数据处理与预测分析应用框架, 可以完成交通流数据的高效清洗、统计、存储和查询。利用基于多阶空间权重矩阵的STARIMA模型进行交通流预测分析, 可以验证数据处理效率及对预测应用的支撑作用。对比实验结果表明: 1) 交通流数据处理框架运行效率高, 适用于复杂的数据清洗和挖掘算法, 为预测模型建立数据支撑; 2) 交通流预测模型对空间权重矩阵进行了多阶优化, 兼顾高效性和准确性, 预测分析结果可以为交通诱导提供参考。     

基于密度的数据流聚类算法

为了提高数据流的聚类质量与效率,提出了一种基于密度的数据流聚类算法,该算法采用双层聚类框架,对于历史数据的遗忘问题采用了消逝策略和粒度调整策略,消逝策略能够处理噪声,节约内存;粒度调整策略检测当前的内存消耗,提高了聚类质量。基于标准数据集和仿真数据集的实验表明,此算法是可行有效的,适合处理和分析大规模的快速数据流。     

Web使用记录挖掘前的事务识别方法

Web使用记录挖掘是采用数据挖掘技术对Web服务器上日志文件中的数据进行挖掘,以发现用户访问Web的方式及页面间存在的某种关联,从而可以为网站设计、提供网络个性化服务及其他电子商务活动提供决策依据.事务识别是Web使用记录挖掘前的一种数据预处理技术,本文介绍事务识别的基本方法,并给出一个最大前向引用序列事务识别新方法.     

快速数据读取技术的实现

为提高通过Web Services获取数据的速度,提出了一种基于.Net的AppDomain技术和远程对象调用技术,突破Windows系统的线程限制,以最快的速度从数据供应商那里获取数据的一个业务无关模型,并对此模型的一个典型应用--股票系统的应用进行了讨论.基于此模型,用户可以自由设定并发线程的数目来获取数据,不必受到并发线程数目的限制,也不必修改TCPIP.SYS文件.在IBM xSeries X206m服务器上测试结果表明,与不用Domain技术测试比较,可以提高20倍左右的效率.同时,此模型可以经过简单的修改,应用在各种对速度有严格要求的系统中.