采用多叉树模型数据迁移算法的设计与实现

针对目前传统关系型数据库中的历史数据向非关系型数据库迁移的低效率问题,提出利用多叉树模型对历史数据存储模式进行重构.基于4种模式迁移规则对各表节点之间的关联关系进行分析,推导算法完成传统关系型数据库中存储模式和历史数据的自动化迁移.该算法不受源数据库存储模式的限制,具有一定的通用性.数据迁移实验表明:在查询性能上,基于多叉树的迁移算法比官方迁移工具Sqoop有较大的提高.     

时序数据多维聚合查询服务的实现

随着电能质量监测点不断扩大,产生海量具有时序特性的多维电能质量数据,当前的诸多数据查询方法不能适应电网电能质量监测数据的交互式多维聚合查询需求。研究提出时序数据多维聚合服务的实现方法,为内存中预聚合后的任务结果建立哈希存储结构,对实时数据建立位图索引存储结构,将历史数据的预聚合数据尽量存储于内存中,改进随机读写的低性能问题,提升查询效率,解决交互式查询问题。同时运用最优聚合任务算法选择出尽量多的预聚合任务数,提高交互式查询命中率。实验验证了该算法的可行性,与分组二维背包算法相比,在预聚合任务数量选择方面具有一定优势。     

组态软件中历史数据存储与查询的一种新方法

提出了一种达到毫秒级的快速历史数据存储与查询方案，该方案采用哈希散列和多级索引的组织结构，应用了定时和定差的存储策略及分级压缩方法，并针对方案进行查询性能的分析和优化.目前采用该方案实现的数据库系统已经在商用组态软件中稳定运行，与同类产品相比，有着良好的存储和查询效率．     

基于SCADA 的物联网大气环境监测系统设计

为解决传统监测系统无法做到精确、实时地监控各地区大气环境数据的问题, 设计了基于SCADA(Supervisory Control And Data Acquisition)系统, 集组态软件、计算机和数据库技术于一体的物联网大气环境监测系统。该系统使用便携式气体检测仪作为下位机对大气污染物浓度进行采集, 利用组态软件搭建中央监控平台对采集数据进行接收处理与分析。该系统实现了下位机接收数据, 服务器存储数据, 并能实时进行数据监测及历史数据查询。实验结果显示, 该系统既可实时监控监测节点的大气环境变化, 又可实现监测节点的历史数据查询, 生成历史报表, 具有采集数据、存储数据及气体浓度预警的功能。解决了传统监测系统存在的监测范围无法细化、监测数据无法实时更新与发布的问题, 为更加方便、实时、高效地监测大气环境提供了技术保障。     

云数据的划分存储和查询研究

随着网络数据、生产数据的大幅增长,数据存储和查询面临着严峻的挑战.数据划分技术可将海量数据分布存储在多台机器中,既能解决单机存储容量问题,也能通过划分区间来缩小数据查询范围.为此,研究了海量数据背景下数据划分存储和查询的方法,设计了将海量数据按角度和距离值计算其所属数据区间,并分布存储到该区间对应的机器文件中,从而实现了大数据量的文件以小数据量的文件存储,使得查询数据时可以先通过索引表找到所属的数据区间其所在文件,再进行查询即可,这样缩小了数据查询范围,而且还可以通过多机器协同查询,加快查询速度.对采用以上方法划分存储的数据进行了Top-K查询,验证了方法的有效性.     

XML数据存储方法的研究

分析了当前已有的XML数据存储方法，指出了这些方法存在的不足。对如何存储和查询XML数据等问题做了详细的探讨，提出了一种基于对象一关系数据库的XML数据存储方法。实验结果表明，与传统的方法相比，本方法生成的关系表较少且所需的存储空间小，基于本方法的查询所需的联结较少，因此能有效地存储XML数据并提高查询的效率。     

流数据技术及其应用现状

流数据具有大数据量、数据变化频繁、需要快速响应、查询次数有限的特点，这些特点使得流数据的处理需要采用新的方式。本文介绍了最近流数据技术的研究及应用现状，总结了流数据以及连续查询的概念，描述了流数据模型以及流查询的一些关键技术，并展望了未来流数据研究的发展方向。     

XML数据在关系数据库中存储和检索和研究和实现

论述了关系型数据库和XML数据之间的相互转换，给出了将XML数据存储在关系数据库和将存储在关系数据库的XML数据恢复的XML形式的算法，由于实际数据类型的复杂性，使用Schema来定义XML文档类型，试验结果表明算法具有较好的性能，讨论了将XML＿QL查询语句转换为SQL查询语句的设计，根据文中XML数据存储在关系型数据库中的算法，可以对XML＿QL查询语句的语法，语义进行分析以转换为相应形式的SQL语句来关系数据库中查询被存储的XML数据，并返回相应的结果集。     

多租户宽表数据存储模式的查询重写机制研究

在SaaS环境下,基于宽表(Universal Table)的多租户数据存储模式是有效解决多租户数据存储问题的一种方法,但会产生大量模式空值。为此,提出了多宽表的存储模式,实现了基于Java的动态SQL重写和视图定义SQL重写相结合的查询重写方法,通过判断SQL语句的复杂性选择适当的查询重写方法,保证租户视图层的SQL查询可转换为实际作用于数据库的SQL查询。分析证明多宽表模式可以提高存储空间利用率,并通过实验验证了该方法查询重写的可行性。     

河道健康管理本体模型构建与数据存储方法设计

河道的有效管理是维持河道健康生态状况的前提条件。针对河道健康数据存在的跨部门管理、存储效率低下、语义信息被忽略等问题，提出了一种基于本体的河道健康数据存储方法。构建了河道健康领域的本体模型，设计了基于Neo4j图数据库的河道健康数据存储方法。以上海市宝山区河道为例，开发了河道健康可视化原型系统，实现了河道健康本体数据在概念、关系、属性和实例的存储与查询。设计了2种不同本体存储方式查询效率的对比试验，验证了本文方法的有效性和可行性。     

数据流上基于遗传算法的并行查询优化技术

传统数据库中存储的是相对静态的记录集,这些记录没有预先定义的时间概念,除非时间属性被显示地加上去.虽然这个模型能够较好地表示商业数据库和个人信息存储库,然而它对快速变化的数据流进行在线分析的支持存在很多限制.因此,需要对已有技术进行扩展研究,构建出新的管理系统来管理数据流.数据流的高速性和无限性以及计算机资源的有限性使得提高数据处理速度成为数据流管理系统(DSMS)的关键;本文主要讨论了DSMS的核心技术———查询优化;着重研究了在shared-nothing机群并行系统中,通过并行查询处理技术来提高数据流处理速度的新方法.     

小波方法在数据流中的应用

有关流数据分析与管理的研究是目前国际数据库研究领域的一个热点.流数据的特点是数据持续到达,且速度快、规模宏大;其研究核心是设计高效的单遍数据集扫描算法,在一个远小于数据规模的内存空间里不断更新一个代表数据集的结构———概要数据结构,使得在任何时候都能够根据这个结构迅速获得近似查询结果.将主要采用小波方法对数据流的采样加以实现,并对数据流进行查询.     

基于混合处理模型的乱序数据流分布式聚合查询处理技术

为了解决现有的乱序数据流聚合查询处理技术不能在降低查询处理延迟,同时保障聚合查询结果的最终正确性的局限性问题,本研究设计了混合嵌入分布式流处理模块和分布式批处理模块的乱序数据流分布式聚合查询处理技术。该技术一方面基于用户给定的结果质量,限制自适应地优化流处理模块所用的缓冲区大小,从而尽可能降低流处理的查询处理延迟;另一方面基于备份于分布式数据存储系统的历史流数据,并以批处理的方式实现对极其晚到流元组的查询处理,从而保障聚合查询结果的最终正确性。基于真实的乱序数据流数据集对该技术进行测试分析表明:该技术在平均查询处理时延、查询结果精度和系统可扩展性方面,比目前最好的基于缓存的乱序数据流处理技术均具有显著优势。     

一种基于层次聚类的流数据挖掘方法

流数据的特点在于数据流快速、有序地到达,并且数据海量,许多应用领域中生成的数据都可以归结为此类型．数据挖掘技术可以从海量的数据中发现有意义的知识模型,传统的数据挖掘算法通常是针对静态数据集,对流数据却无法有效地处理．文章试图从层次聚类角度处理流数据,并探讨了一种基于最小代价函数的层次聚类算法．     

基于NoSQL数据库的地学大数据高效存储方法

为解决传统的关系型数据库在海量数据的存储和访问效率中存在的瓶颈问题, 提出了一种基于非关系型（NoSQL： Not only SQL）数据库的地学大数据高效存储方法。同时以MongoDB为代表, 通过C#语言编写测试程序, 与SQL Server在地学大数据的存储、 查询等方面进行了性能对比。结果表明, 与传统关系型数据库相比, NoSQL数据库的增、 删和查询耗时明显降低, 尤其是针对海量的非结构化、 半结构化数据, 其性能优势更加明显。     

移动P2P流媒体中的数据调度算法

为了解决移动网络中分层流媒体的数据调度问题,提出了一种新的应用于移动网络P2P(Peer to Peer)流媒体的数据调度算法--二维数据调度算法。该算法将流媒体数据块分别使用二维坐标进行标注（块坐标和层坐标）,数据调度过程中数据块的调度顺序由其二维坐标确定。仿真结果表明,二维数据调度算法能保证移动终端上的流媒体的顺畅播放;无用包率减小,使无线网络中带宽得到有效地利用;对层订阅抖动具有较好的抑制作用,确保流媒体质量稳定。     

存储特定流数据的通用框架

通过仔细研究存储流数据的各种应用的共同特征,提出了一种数据流存储模型.在数据流存储模型基础上,采用先进的基于组件的开发方法,实现了一个存储流数据的通用框架,通用框架采用本体技术来解决语义互操作性.测试结果表明,通用框架可以调用一组用户提供的过滤算法,筛选出指定数据流中符合条件的信息,将它们成批存储到数据库中.用户可以通过定制和配置参数的方法,在各种不同的应用环境中重用该通用框架.     

基于播放时隙与图像质量的P2P分层流媒体倾斜分配算法

在发送方多源异构、流媒体采用分层编码前提下,综合考虑流媒体数据的播放时隙以及图像质量因素,提出了针对P2P分层流媒体数据分配的倾斜分配算法.该算法适用于多发送方、单接收方情况,以AI MD(Additive Increase and Multiplicative Decrease)原则周期性调整发送数据包量进行拥塞控制,通过倾斜排序算法调整数据包的分配顺序,再根据发送方传输能力的分配数据予以传送,以保障在P2P动态网络环境下的流媒体传输质量.     

基于部分重编码的流数据发布隐私保护算法

针对流数据具有变化无常、 流动极快、 潜在无限等特征, 相比静态数据隐私保护难度更大的问题, 在流数据的基础上提出一种新的数据信息匿名算法, 解决了敏感值及其敏感等级随数据转变而转变的难题, 能有效地避免匿名流数据遭受链接攻击、 相似性攻击以及基于敏感分级的链接攻击威胁. 仿真实验结果表明, 该流数据 匿名模型可有效地保护数据的匿名信息.