基于动态可调簇的无线传感网络能量感知数据存取算法

针对无线传感网中数据收集、存储和查询的需要,提出了一种基于动态可调簇的能量感知数据存取算法ACEDBA(Adjusted Cluster-based energy-aware Data Brokerage Algorithm).该算法将网络节点分成许多簇结构,簇内节点负责数据采集,簇首节点负责簇内数据的收集、汇聚和转发,数据可以集中存储,也可以分布存储在各簇首节点或本地存储.算法引入能量分级消耗机制,可动态选择和调整簇首节点,保证各簇首节点簇内数据存储和簇间数据转发查询的能量平衡.实验结果表明,与典型数据存取算法相比,该算法的节点能耗均衡、生命周期和查询成功率方面具有优势.     

基于面向对象的大数据存储模型研究

随着大数据存储需求的不断扩大,网络存储技术面临如何存储并管理海量数据的问题.通过对现有各种大数据存储模型进行了对比分析,针对现有存储模型存储的局限性和大数据存储的特点,提出了一种基于数据特征的面向对象存储思想.采用虚拟类技术设计并实现了一种基于面向对象的大数据存储模型.在仿真环境中,对该模型的分类关键模块与非结构化数据存储性能进行了测试与分析,实验结果表明该模型分类模块误差较小,读写效率较高,而且随着数据的增大,非结构化存储性能保持稳定.     

基于NoSQL数据库的地学大数据高效存储方法

为解决传统的关系型数据库在海量数据的存储和访问效率中存在的瓶颈问题, 提出了一种基于非关系型（NoSQL： Not only SQL）数据库的地学大数据高效存储方法。同时以MongoDB为代表, 通过C#语言编写测试程序, 与SQL Server在地学大数据的存储、 查询等方面进行了性能对比。结果表明, 与传统关系型数据库相比, NoSQL数据库的增、 删和查询耗时明显降低, 尤其是针对海量的非结构化、 半结构化数据, 其性能优势更加明显。     

基于频繁模式半结构化数据的模式抽取

为克服半结构化数据存储复杂的缺点,提出一种基于动态树的半结构化的存储模型。对该模型进行模式抽取, 并将其引入到Apriori算法。通过设置最小支持度阀值过滤掉不必要的信息, 输出最长频繁路径的集合, 以实现半结构化数据的提取。实验结果表明, 该算法能同时有效地处理分支及环路问题, 避免了死循环的出现。     

基于OEM模型的半结构化数据的模式抽取

Web数据是典型的半结构化数据 ,缺乏明确的、预知的、与数据分离存储的外在模式 ,导致查询、浏览和集成Web数据的效率极低。该文提出一种基于 OEM (objectexchange model)模型的半结构化数据的模式抽取算法 ,采用自顶向下的剪枝策略 ,可快速发现频繁简单路径集 ,应用于半结构化数据的集成及查询回答与优化。其特点是可降低目标模式的规模 ,有效改进模式抽取的效率     

基于区块链存储扩展的结构化数据管理方法

研究基于区块链存储扩展的结构化数据管理方法,解决目前在区块链存储方面存在的容量扩展、存储结构扩展等问题.通过节点动态组网、DHT通信协议,网络中节点仅需存储部分数据,实现数据的存储、查询管理;通过数据签名及定时验证,保障数据安全存储及查询;本地数据库存储结构化数据,扩展业务数据管理.实验结果表明,该方法实现了结构化数据的区块链存储扩展管理,充分利用了节点的网络资源,降低了节点存储压力,提升了数据存储、查询效率,进一步促进区块链应用的开发.      

基于边缘计算的非结构化大数据动态安全存储算法

针对非结构化大数据边缘安全性较差,存储效果受限的问题,提出基于边缘计算的非结构化大数据动态安全存储算法。有效分析和识别非结构化大数据,利用构建的数据敏感级别识别模型确立非结构化大数据敏感度等级并加密。基于边缘计算及云计算,建立云边协同架构,利用该架构编写的分布式压缩感知-同时正交匹配追踪(DCS-SOMP:Distributed Compressed Sensing-Simultaneous Orthogonal Matching Pursuit)算法对加密数据进行压缩采集,以此降低数据存储量,最终将非结构化加密数据上传至云边协同框架各个边缘,实现非结构化大数据动态安全存储。经存储量、元数据占比、加密耗时和带宽消耗测试实验,结果表明该算法鲁棒性较高,能保证实际应用性。     

异构Redis集群大规模评论数据存储负载均衡设计

大规模评论数据的存储与查询性能对构建于其上的各类应用的快速响应具有重要影响.同时,异构计算环境中各计算节点性能呈现差异,如何充分开采各节点的计算和存储性能,优化大规模评论数据的存储与查询性能,是一个关键挑战.基于Redis集群的数据管理优势,首先提出了一种同构环境下基于卡槽存储平衡的大规模评论数据存储模型;然后论证了卡槽数目与节点查询效率的关系,以"负载与访问性能相平衡"的原则分配卡槽,进一步设计了异构环境下的集群节点负载计算和存储分配方法,充分开采了异构Redis集群中不同节点的性能.实验结果表明,提出的存储模型具有很好的存储平衡效果,提升了集群的整体查询效率.     

基于流数据的动态存储技术

对比了传统的数据与流数据的存储方法，并总结了现有流数据存储方式的优缺点，在继承了双向流的优点基础上，针对多数据源、多查询及多级存储建立了一个新的流数据处理系统模型，给出了解决历史数据存储的几种方案，更加突出了“实时性与历史性结合”的特点，同时满足了历史数据查询的需要，实现了流数据的动态存储策略。     

CPU-GPU异构环境下的大规模商品知识查询处理

知识图谱是将无结构的知识进行结构化表示和组织的有效途径,已经成为支持众多智能应用的基础设施.然而,与商品相关的知识通常呈现出海量性、异质性和层次性的特点,这对现有基于关系模型和图模型的知识查询处理方法提出了挑战.针对商品知识的这些特点,本文设计与实现了一种利用CPU和GPU协同计算的商品知识查询处理方法.首先,为了充分发挥GPU的并行计算能力,提出了一种基于稀疏矩阵的商品知识存储策略,并针对商品知识进行存储优化;其次,根据稀疏矩阵的存储结构设计了一种查询转换方式,将SPARQL查询转化为对应的矩阵计算,并将连接查询算法扩展到GPU上进行加速.为了验证所提出方法的有效性,我们在LUBM数据集和一个半合成的商品数据集上进行了一系列的实验.结果表明,本文提出的方法,不仅在海量商品知识下相对于现有RDF查询引擎在检索效率上有较大提升,而且在通用的RDF标准数据集上也能取得较好的检索性能,并验证了GPU加速查询处理的有效性.     

采用多叉树模型数据迁移算法的设计与实现

针对目前传统关系型数据库中的历史数据向非关系型数据库迁移的低效率问题,提出利用多叉树模型对历史数据存储模式进行重构.基于4种模式迁移规则对各表节点之间的关联关系进行分析,推导算法完成传统关系型数据库中存储模式和历史数据的自动化迁移.该算法不受源数据库存储模式的限制,具有一定的通用性.数据迁移实验表明:在查询性能上,基于多叉树的迁移算法比官方迁移工具Sqoop有较大的提高.     

Towards comprehensive provable data possession in cloud computing

To check the remote data integrity in cloud computing,we have proposed an efficient and full data dynamic provable data possession(PDP) scheme that uses a SN(serial number)-BN(block number) table to support data block update.In this article,we first analyze and test its performance in detail.The result shows that our scheme is efficient with low computation,storage,and communication costs.Then,we discuss how to extend the dynamic scheme to support other features,including public auditability,privacy preservation,fairness,and multiple-replica checking.After being extended,a comprehensive PDP scheme that has high efficiency and satisfies all main requirements is provided.     

网络协同设计动态数据交换系统

动态数据交换是成功实现网络协同设计的关键技术，作者分析了网络协同设计交换数据的特点，研究了网络协同设计动态数据交换中所涉及的数据转换、数据传输、数据操作，提出了异类CAD系统之间的动态数据交换体系结构和动态数据交换组织模式。以STEP为产品数据交换标准，ORA—CLE数据库为系统核心数据库，各CAD系统用户可同时访问ORACLE数据库，实现信息共享和交互。提出STEP—ORACLE动态数据交换组织模式，实现了跨平台异类CAD系统之间动态数据的实时交互和数据的实时一致性。     

EM300X系列多波束ALL数据格式解析

Kongsberg Simrad公司生产的EM300X多波束测深系统所采集的原始数据以．ALL（_RAW．ALL）二进制方式存储,这种存储方式为海量多波束数据节省了存储空间,却给后继的研究带来困难。为便于数据处理及误差分析,须将该数据格式解析,提取所需的原始信息。以VC＋＋6．0作为开发平台,通过分析ALL格式结构,根据其内部数据包的数据结构和标识码读取数据包中的数据,提取所需数据以文本格式输出,为更好地利用这种数据奠定基础。     

基于量子辐射场的大数据安全存储寻址算法

大数据存储过程面临着与日俱增的各种威胁,而传统数据存储算法难以有效应对这些新型威胁。以量子力学和量子遗传的关系为基础,构建量子辐射与量子遗传迭代的、双向可逆过程的数学函数和计算机程序,为流数据的大规模量子安全存储构建软件基础环境。在量子力学和量子遗传的映射关系下,将量子染色体的定义和交互作用通过量子比特和量子旋转门的计算实现,将量子染色体的交互通过量子引力作用和量子斥力作用的交互实现,将量子染色体动态过程的主要衡量指标通过引力和斥力的叠加态来计算产生。用量子引力和斥力来引导流数据的动态存储寻址、出入栈过程与路径,进而将大数据存储过程双向映射为量子辐射场和量子空间域问题,得到安全存储路径与存储地址。     

基于RAID-6的容量扩容布局研究

随着数据量的不断增加,原有存储系统已不能满足海量数据存储的要求。RAID(redundant arrays of independent disks)存储系统因具有良好的数据可靠性、磁盘独立性和可扩展性,成为应用范围最广的存储系统。新型存储技术存在研究迟缓、推广率低的问题,使得在原有RAID存储系统中添加新的磁盘,成为存储海量数据最为便捷,最为有效,成本最低的方式。RAID发展至今,根据对数据存储的不同需求,衍生出了不同层级的RAID存储系统。RAID-6存储系统由数据盘与2个校验盘构成,相较于其他RAID存储系统,具有更好的数据容错功能,更高的数据恢复能力。因此,提出一种基于H-Code针对RAID-6存储系统的扩容算法HS6。该算法在扩容过程中体现了最小化数据迁移量和快速扩容等特性,与传统的Round-Robin和Semi-RR扩容算法相比,该算法减少了73.2%~88.6%的数据迁移量,缩短了30.6%~62.9%的总扩容时间。     

以LVM为基础的小型企业数据存储应用研究

当今时代是一个数据存储空间需求倍增的时代,如何低成本实现并满足存储需求,是小企业必须面对的问题．在小企业通过运用信息化技术对数据存储进行分析,阐述数据存储空间的部署技术与空间的动态增容技术,以降低小企业信息技术维护成本．     

微型低功耗数据记录仪设计

为了在电池供电且安装空间狭小的使用条件下，实现对测量数据的大容量存储，设计研制了一款微型低功耗数据记录仪．该记录仪以定点DSP（digitalsignalprocessor）TMS320VC5509A为核心，具备信号放大、程控滤波、数据采集和存储功能．该记录仪以不到8cm。的小尺寸，实现了最高800kSPS的数据采样及存储，且整体功耗小于800mW．数据存储介质采用普通SDHC卡，存储格式为FAT32，读出方式为USB口，且支持2．0协议．测试结果表明，该系统可以长时间稳定工作于黑匣子记录模式．     

关系数据库的动态维护

就关系数据库的动态维护提出了一些更具实用、灵活的思想，摘述了动态维护中开放型的数据字典管理和过程优化控制方式，以及在传统的动态维护方式的基础上更进一步的功能扩充。