基于 P2P的VOD系统中数据缓存策略研究

提出了一种结合内存缓存与磁盘缓存的新型缓存策略.该策略在原有内存缓存基础上增加了磁盘缓存,数据从内存中被淘汰时,从磁盘缓存空间中选择合适磁盘分片进行缓存,并建立索引管理已缓存数据,使对等网络中的节点利用彼此的闲置磁盘资源缓存更多的媒体数据,服务器的负载得到有效降低,节点在对等网络中从其他节点获取数据的成功率明显提高.实验证明,该缓存策略有效提高了系统的整体服务能力,充分利用对等网络中的空闲节点资源降低视频服务器的负载.     

基于HBase的分布式空间数据库技术

针对在大型地理信息系统(GIS)中, 需要对海量矢量据和栅格数据进行存储并对高并发的用户查询请求提供高效响应, 传统的设计方案难以满足需求的问题, 提出一种使用基于内存存储的分布式数据库HBase存储空间数据, 并设计基于GeoHash的分布式空间索引, 实现了矢量空间数据与栅格空间数据的分布式存储与快速查询. 实验表明, 该方法提升了海量空间数据的查询速度.     

基于改进R*树的移动GIS多尺度渐进传输与表示

针对传统单一尺度空间数据在低速无线网络环境中难以由移动GIS下载与表示的问题,在研究矢量数据多尺度表示与R*树空间索引的基础上,设计并实现了改进的多尺度R*树空间索引算法.该算法使得R*树中非叶子结点能够关联合适尺度的空间对象实体,保证海量的矢量数据在服务器端得到了有效的多尺度组织.在该算法的基础上,借助于移动GIS端所设计的缓冲式多尺度空间数据存储与管理,以及基于请求/应答模型的GML流式数据传输,设计并实现了面向移动GIS的矢量数据多尺度渐进传输模型,从而使得移动GIS能够以较高的效率下载和表示各种尺度的空间数据.通过真实的土地利用现状空间数据实验,验证了该方法在无线网络情况下能够有效地提高移动GIS的数据传输效率.     

一种基于Redis的矢量数据快速加载方法

矢量数据的检索、加载和可视化渲染速度的提升是WebGIS开发中的一个重要问题.采用一种实时、动态的矢量数据切片方案,将矢量数据转换成MVT矢量瓦片数据集,并设计矢量瓦片在Redis中的缓存方式,然后通过MapBox框架实现矢量瓦片的实时加载.方法简化了矢量数据切片的步骤和流程,减轻了数据库的压力,提高了矢量数据的渲染、加载速度,最后将此方法应用于浙江省新型基础测绘资源库管理系统中,具有较强的实用性.     

支持大规模地震探测数据快速可视化的云端数据缓存技术

首先, 基于云计算应用模式, 提出一种能有效利用云存储架构的双层缓存技术. 通过在客户端和服务器端建立分布式缓存, 能有效避免用户频繁访问远端数据, 为用户构建轻量级的客户端, 解决了目前地学数据可视化软件大量占用用户本地存储容量的问题. 同时服务器端也避免了多次访问云存储文件系统, 减少了大量的数据检索与加载时间. 其次, 提出一种ARLS(association rule last successor)访问预测算法, 根据用户的历史访问记录, 利用关联规则挖掘用户的访问模式, 对其访问行为进行预测, 进而提前加载数据, 提高缓存命中率, 解决了用户在可视化过程中不断移动兴趣区域, 频繁更换渲染数据的问题, 能有效应对用户具有多种访问模式的情况, 提高了预测准确率. 实验结果表明, 该云存储架构显著减少了本地资源消耗, 访问预测算法的准确率在最差情形下可达47.59%, 平均准确率达91.3%, 分布式缓存的平均缓存命中率达95.61%, 可有效支持云端大规模地震数据的快速可视化.     

大数据环境下Lucene性能优化方法研究

为提高大数据环境下的数据查询分析效率,该文结合内存计算技术和批量更新技术提出一种优化倒排索引方法——内存磁盘索引(RFDirectory)。基于Lucene实现内存和磁盘相结合的倒排表管理技术。将新增数据写入缓存中,并周期性地写入磁盘索引结构中,从而提升倒排索引的写入性能。通过整合磁盘和内存的多分块倒排结构,为用户提供高效的数据查询分析结果。实验结果表明:在大数据环境下,RFDirectory方法的索引构建时间缩短为磁盘索引(FSDirectory)、内存索引(RAMDirectory)方法索引构建时间的50%,返回1个关键字的检索结果耗时缩短了近15%。     

基于大页内存的学习索引内存分配策略

大数据时代,数据信息的不断膨胀给数据的快速存取带来了巨大挑战.因此,设计一种高效的索引结构具有重要意义. ALEX (updatable adaptive learned index)是一种利用机器学习模型代替传统B-树索引结构的学习索引,具有较好的时间、空间性能,但存在频繁的缺页中断问题.为解决此问题,进一步提升ALEX性能,在ALEX基础上提出了一种基于大页内存的内存预分配策略,较好地降低了内存缺页中断率,提升了ALEX性能.在内存分配阶段,采用预分配策略;在内存回收阶段,则采用延迟释放策略.在Longitudes数据集上的实验表明,该策略具有良好的效果.     

重复数据删除中的无向图遍历分组预测方法

针对重复数据删除系统中存储容量受内存限制难以进行扩展的问题,提出了一种基于无向图遍历的重复数据删除分组预测方法.该方法将索引表保存在磁盘中,并在内存中维护索引表缓存,以此提高系统最大可支持的存储容量.对于索引表缓存命中率低、系统性能差的问题,采用了图遍历分组方法予以解决,根据数据块访问序列特征信息建立无向图并进行分析,基于分析结果对索引项进行分组,并以组进行缓存替换,从而提高缓存命中率和系统性能.实验结果表明,基于缓存预取原理和无向图遍历分组,在将缓存设置为索引表大小的10％时,重复数据删除存储系统最大存储容量比原有方法提高了7.5倍,缓存命中率由不进行索引项分组时的47％提高到87.6％.     

面向网络GIS的最小价值空间数据缓存替换算法研究

海量空间数据的网络传输是影响网络GIS服务质量的重要因素.数据缓存机制能有效提高数据响应速度,提升网络GIS服务质量.FIFO、LRU、LFU等常用的缓存替换算法侧重于数据的访问时间和频率,而未能兼顾空间数据特有的空间位置特性,在空间数据缓存的应用上存在着局限性.该文面向网络GIS提出了一种最小空间数据价值缓存替换算法GDLVF(Lowest-Value FirstCache Replacement for Geospatial Data),除考虑数据的访问时间和频率外,还兼顾数据空间位置与可视区域间的面积和位置关系,并利用加权数据大小来降低数据大小差异对价值计算的影响.实验表明,GDLVF较传统的缓存替换算法能够同时兼顾请求命中率和字节命中率,减少数据的网络传输,显著改善网络GIS的服务质量.     

面向电子档案大数据的可视化组织与分析

电子档案发展至今已经积累到大数据状态,数据可视化成为解决电子档案管理问题的主要方法。根据以上描述,提出面向电子档案大数据的可视化组织与分析新方法。所提新方法将瓦片模型用于进行电子档案大数据可视化组织工作,借助瓦片图层的金字塔结构与矢量特征建立可视化组织结构。讨论了电子档案大数据编码方法与矢量瓦片可视化绘图流程,提高了可视化组织工作的准确性与效率。依次通过可视化图层捕获、非关系数据存储、数据流处理、已处理数据读取、分析结果显示以及图层更新,进行电子档案大数据可视化分析。实验结果显示,所提新方法的可视化效果优异,大数据读取效率较高。     

突发性大气污染事故移动应急系统关键技术研究

针对突发性大气污染移动应急系统中存在数据组织和管理困难、应急模拟结果传输和可视化效率低,以及人员撤离指挥不及时等问题展开研究,设计大气污染移动应急系统的数据管理方式.分析移动应急数据的可视化流程,提出利用JSON解决空间数据的传输与移动端的可视化等问题.设计基于位置驱动的人员撤离路径规划策略,提出利用缓存技术、位置驱动、消息推送技术等方法增强移动终端和数据中心的交互能力,提高应急人员指挥撤离和救援调度等问题.最后,设计并实现基于Android平台的突发性大气污染移动应急系统,并进行测试,验证突发性大气污染移动应急关键技术解决方案.     

基于双树双索引结构的移动查询方法

为实现对有限范围内海量移动对象的有效索引,构建通用的移动查询解决方案,针对移动对象在道路网格中的运动特点,提出了预测实时运动速度的速度积累模型和预测未来聚集位置的基于双树双索引结构的移动对象查询方法.双树双索引结构利用网格划分思想构建空间分割树,实现对现有GG TPR-tree查询结构的拓展,并结合GG TPR-tree索引及建立于内存中的Hash索引以满足各种类型的移动查询请求.仿真实验表明,在回答受限范围内海量移动对象的确定性查询和统计性查询时,与传统方法相比,双树双索引结构在查询结果准确率方面有明显的改善.     

林业资源数据集群的快速索引设计

设计一种快速索引以管理分布存储的林业资源数据, 通过大量独立数据节点共同负载数据请求, 减少数据访问过程的互斥, 实现了空间与属性数据的分布式存储并行访问. 实验结果表明, 基于目前的应用服务器集群, 应用该快速索引方法, 能以较低的改进成本提高整个数据集群的快速统计和更新能力.     

地理信息服务平台架构新思维

该文以移动GIS平台架构为研究对象,采用面向服务思想设计并实现了一种基于"云+端"模式的移动GIS快速开发平台,提出一种分层开发模型OS-GAL-IAL,研制出跨平台、高性能、全自主的GIS内核,实现了一套精细化、流程化、可视化、易扩展的快速开发框架,能帮助开发者快速构建业务敏捷的移动GIS应用系统。     

地理信息快速开发平台的设计与实现

该文以移动GIS平台架构为研究对象,采用面向服务思想设计并实现了一种基于"云+端"模式的移动GIS快速开发平台,提出一种分层开发模型OS-GAL-IAL,研制出跨平台、高性能、全自主的GIS内核,实现了一套精细化、流程化、可视化、易扩展的快速开发框架,能帮助开发者快速构建业务敏捷的移动GIS应用系统。     

移动互联网时代的地理信息服务平台架构探讨

该文以移动GIS平台架构为研究对象,采用面向服务思想,设计并实现了一种基于"云+端"模式的移动GIS快速开发平台,提出一种分层开发模型OS-GAL-IAL,研制出跨平台、高性能、全自主的GIS内核,实现了一套精细化、流程化、可视化、易扩展的快速开发框架,能帮助开发者快速构建业务敏捷的移动GIS应用系统。     

基于辅助设备的D2D集群的文件块缓存策略研究

为了解决D2D缓存命中概率的最优化问题,在集群用户中加入了移动辅助设备(HEs)缓存,同时,提出了基于辅助设备的D2D集群的流性文件块分批缓存策略(FCPhit):首先,将有相似文件请求的用户群置于一个集群中;然后,将用户分批并将流行文件分为若干块,用户设备缓存文件的第1块,移动辅助设备缓存其他文件块.并与已有的最流行...     

基于Mobile SVG的移动GIS数据可视化方法的研究与实现

本文研究了Mobile SVG的移动GIS数据可视化方法与实现的可行性,通过GIS数据可视化方法,结合显示对象转换、坐标转换和地图符号的可视化表达对Mobile SVG的地理数据可视化表达方式经行分析。Mobile SVG能够带来一些传统GIS数据可视化方法无法提供的优势。结果表明,Mobile SVG解决了栅格地图数据量大和缩放失真问题,实现了地图数据的矢量化表达。     

数据与服务混合加载系统

该发明涉及一种数据与服务混合加载系统,包括:数据浏览模块用于浏览地图数据、文档数据和图片数据中的任一一种或者多种;所述数据浏览模块包括:网络浏览单元,用于在服务浏览类型为网络服务的情况下,向服务器端发送地图数据获取请求,并根据所述服务器端返回的瓦片地图图片绘制瓦片地图,根据所述服务器端返回的矢量数据绘制矢量地图;本地浏览单元,用于在服务浏览类型为本地数据的情况下,调用MAPGIS获取本地的地图数据,并根据所调用的瓦片地图图片绘制瓦片地图,根据所调用的矢量数据绘制矢量地图。该发明能够实现多样化的数据与服务的混合加载。     

移动环境中高速缓存的无效策略

移动环境中,由于移动客户频繁地离线和高度的移动性,传统的高速缓存无效策略需要进行改进.本文介绍了在移动环境中解决无效的几种途径:广播时间戳、无记忆终端策略、签名、基于计数器的缓存无效策略及位置依赖的缓存无效策略.这些策略有效地解决了缓存无效的问题.