行列混合存储数据库的数据分布自适应优化算法

随着数据量和数据类型的逐渐增加,用户对数据存储性能的要求和整体需求越来越高。当前数据分布算法因为受到成本及可扩展性的约束,无法达到用户对存储的要求。为此,提出一种新的行列混合存储数据库的数据分布自适应优化算法,给出数据分片、数据访问频率矩阵、拓扑结构和最小支撑树的定义,将总成本最小作为依据,判断数据是否冗余分布,获取行列混合存储数据库的利益函数。找到一个使利益最大化的数据分布方案,通过迭代求取该问题的解。输入相关参数,输出的结果即为数据分布结果。实验结果表明,所提算法读写能力和均衡性均较强。     

基于MongoDB集群的遥感数据存储方法研究

应用MongoDB非关系型数据库,提出了一种基于MongoDB数据库集群的遥感数据的储存方法,提出了影像文件与元数据分离存储的策略;并对MongoDB集群数据分片的片键机制进行了深入研究.根据遥感数据的特点提出了基于"升序键+搜索键"数据分片方案,通过应用哈希一致性算法改善集群间数据分布均匀性,通过分布式的高速内存缓存提高遥感数据的检索效率,并实现了基于此方法的架构模型.最后针对文中存储方法提出了测试方案并进行了对比测试实验,实验结果表明该存储方法能够较好地提高遥感数据存储和检索的性能,适用于遥感领域的数据存储.     

局部对称算法在区块链分布式存储中的优化

提出一种局部对称算法,将区块链系统中的节点划分为多个节点子集,每个节点子集生成一个私钥对数据进行加密,将加密后的数据分布存储于节点子集的节点中.利用局部对称算法将哈希值和私钥分别设为全局秘密和局部秘密,用局部秘密对数据区块进行加密并将结果分布存储于节点子集的节点中,用基于中国剩余定理秘密共享的分布式存储方案对私钥和哈希值进行有效存储,达到降低存储成本和通信成本的目的.仿真结果表明,对比减存储算法和单节点故障算法,局部对称算法在区块链分布式存储中的存储成本和通信成本更低.     

基于MongoDB集群的遥感数据存储方法的研究

随着遥感探测技术的发展,遥感数据的数量和质量都在逐步提高,如何有效地存储和管理这些数据成为当前研究的重点。应用MongoDB非关系型数据库,提出了一种基于MongoDB数据库集群的遥感数据的储存方法,设计了影像文件与元数据分离存储的策略;并对MongoDB集群数据分片的片键机制进行了深入研究,根据遥感数据的特点提出了基于"升序键+搜索键"数据分片方案,通过应用哈希一致性算法改善集群间数据分布均匀性,通过分布式的内存缓存提高遥感数据的检索效率,并实现了基于此方法的架构模型。最后针对所提出的存储方法设计了测试方案并进行了对比测试实验,实验结果表明该存储方法能够较好地提高遥感数据存储和检索的性能,适用于遥感领域的数据存储。     

某基础数据库数据分布特点及模型算法

分布式数据库是构建基础数据服务的主要技术,而数据分布的科学性直接决定数据库的稳定性和服务效率;文章从数据分布的基本策略入手,系统分析了某基础数据库的应用特点,总结出数据分布的基本原则,并对分割式数据分布策略模型进行改进,以启发式算法为基础形成对特定复本数和分布地域的混合式数据分布模型算法。     

一种多最小支持度加权关联规则挖掘算法

针对实际交易数据库中,不同项目的重要性和出现概率各不相同的两个问题,提出一种基于等价类和多最小支持度的加权关联规则算法,从而挖掘出那些覆盖较少数据但却有意义、用户可能更感兴趣的关联规则。算法按照项目的最小支持度升序对交易记录进行等价类划分,然后按照项目的最小支持度降序依次求出每一等价类内的加权频繁项集。算法采用垂直数据库的数据表示形式,挖掘过程中避免了对数据库的重复扫描。对比实验结果证明,改进算法具有良好的挖掘性能。     

基于并行数据仓库的数据分布调整策略

并行数据仓库系统的性能与数据在多处理机之间的分布密切相关.本文根据并行数据仓库系统的体系框架,提出了全新的并行数据仓库数据三层模式结构,并在此模式基础上,根据用户查询的变化设计了动态多维数据分布和调整策略,通过改变数据分布模式和数据物理存放的方式来保证系统数据分布均匀和工作负载均衡.实验结果证明,此算法能有效地缩短OLAP平均查询响应时间,提升系统的整体性能.     

基于SN结构并行实时数据库的数据存储策略

将实时机制引入并行数据库系统，讨论了数据分布聚集度、数据的暂存状态及时间均衡等概念。提出了并行实时数据库的数据关联放置方法，数据存储的原则及策略。     

接触电阻计算新方法

运用模糊系统对接触电阻进行建模.首先通过全因子法进行试验,得到足量试验数据,从试验数据中选出一部分能代表整个样本空间特征的数据作为训练数据训练模糊系统,剩下的作为测试数据对模糊系统进行测试,检测系统可靠性.然后在分析基本遗传算法与递推最小二乘算法特点的基础上,将二者结合形成混合算法,混合算法是在基本遗传算法之后进行递推最小二乘算法的运算.通过训练数据分别利用递推最小二乘算法、基本遗传算法、混合算法训练模糊系统,混合算法的收敛效果优于其他2种方法.通过训练数据建立基于回归分析的接触电阻模型.利用测试数据对各模型进行测试,并比较测试结果,混合算法训练模糊系统所得模型的测试效果是各模型中最好的.测试和比较结果说明若能得到足量训练数据,用混合算法训练模糊系统的方法对接触电阻进行建模是可行的.     

混合动态数据库集群的并行空间连接优化算法

传统算法数据划分冗余度和倾斜度高,无用连接数据多,降低负载均衡性,对整体效率产生不好的影响,不适于实际应用。为此,面向混合动态数据库集群提出一种新的并行空间连接优化算法。采用网格划分法对数据进行划分,依据空间数据划分结果获取数据分布状态,计算节点按照数据分布状态得到候选集。通过平面扫描形成若干子空间连接的子任务,利用构建节点花费模型,依据花费模型对并行空间连接所需的平均节点访问个数进行评估,把候选任务集分配至不同计算节点,在不同节点执行并行空间连接操作。通过边界过滤策略,删除不可能有结果的元组,提高效率,增强算法的实用性。实验结果表明,所提算法适于实际应用,效率高。     

物联网环境下负载均衡的低代价云存储数据副本分布

为满足物联网终端结点移动性和数据访问实时性要求,根据云存储中副本分布与访问的模式,提出结合数据访问点位置和访问频率,具有低访问代价的存储服务器选取方法.考虑负载对访问代价的影响,通过动态更新代价矩阵,提出负载均衡机制.研究结果表明:该方法在最少副本数目的前提下,将副本分配到与访问情况相适应的具有较低访问代价的存储服务器上,可有效减少数据访问开销,并避免副本集中分布,保证各存储服务器的负载均衡,更适合于物联网环境中云存储数据管理.     

云计算环境中数据分布式强制访问控制算法研究

在云计算环境中,用户把敏感数据外包在云端,所以数据强制访问控制成为目前云计算研究中亟需解决的问题。当前常用的解决算法是加密数据密钥,但这种算法因密钥分发及数据管理导致计算开销大。因此,提出一种新的云计算环境中数据分布式强制访问控制算法,介绍了云计算环境中数据访问流程,分析基于密文策略和属性的加密算法,利用属性集合对云计算环境中的用户身份进行描述,通过访问控制树表示数据分布式强制访问控制结构,在用户属性集符合既定访问控制结构的情况下,用户才能够完成对数据的解密。通过属性私钥申请、文件上传和文件下载三个过程实现数据分布式强制访问控制。实验结果表明,所提算法在效率、安全性、内存消耗和控制精度四个方面均显示出了很大的优势。     

校园网格环境下异构数据库的集成与分布式查询

针对校园数据网格的分布式异构数据库环境,提出了一种基于网格服务的异构数据库访问和集成方法。该系统为用户提供一致的虚拟数据视图和分布式数据查询支持。在分析和研究现有分布式数据库查询技术的基础上,介绍了一种适用于网格环境下海量数据的连接操作算法,算法依据分布式数据库的固有并行性,利用数据划分来提高查询的并行处理程度,以改进响应时间。理论分析表明,该算法在减少网络通信开销和降低响应时间方面具有较好的性能。     

考虑综合经济性的风光配电网储能优化配置

在配电网中配置储能系统可以有效缓解风光接入对配电网产生的影响,提升对风光的消纳能力、减少电压偏差等,而储能接入的位置和容量不同会对配电网产生不同的影响。首先分析储能建设过程中的主要费用,考虑基于分时电价下的网损成本和峰谷差收益,以年综合成本、配电网的日节点电压偏差和最小为目标,建立配电网储能选址定容模型,采用改进多目标遗传二代算法（Improved Multi-Objective Nondominated Sorting Genetic Ⅱ Algorithm,INSGA-II）对模型进行求解,利用改进理想点决策法（Improved Ideal Point Based Decision,IIPBD）来选取最优配置方案,最后在IEEE-33节点模型中对方案进行验证,仿真结果表明,使用INSGA-II算法进行求解时最终决策出的储能配置方案实现了成本最小,并且显著提升了电压的稳定性,验证了改进后算法的优良性和本文所提出的储能优化配置方案的有效性。     

隐藏访问模式的高效安全云存储方案

围绕当前云存储环境中用户数据机密性和隐私泄露问题,提出一个隐藏访问模式的高效安全云存储方案.该方案首先将文件分为固定大小的数据块,利用伪随机函数和抗碰撞哈希函数将数据块编码、加密,并将密态数据块上传至云服务器的伪随机集合超集内,构建安全云存储结构;同时,设计两轮用户访问策略,在隐藏访问模式的同时降低了存储代价和访问交互次数,实现文件的动态高效更新.安全分析表明,选择适当的安全参数,方案满足L₁L₂-动态自适应安全性.实验结果表明,本方案在保证数据机密性的同时,更适用于实际的云存储环境.     

一种分布式冗余的实时数据存储检索机制

为解决传统集中式实时数据库吞吐量、容错性、可扩展性不足的难题,提出一种基于分布式架构、具备多重副本管理功能的实时数据存储检索机制.该机制结合一致性哈希算法与基于多版本控制的数据组织方案,从实时数据的存储、管理、查询三方面进行设计和优化,在保证数据存取实时性的基础上实现了备份同步、一致性修复等核心功能,从而有效提高了实时数据库的海量数据存储与处理能力,为实时数据库向分布式存储、多重冗余备份、系统规模动态调整等方向的转变奠定了基础.通过在原型系统中测试验证,结果表明该机制能够达到设计预期目标和性能要求.     

支持大规模地震探测数据快速可视化的云端数据缓存技术

首先, 基于云计算应用模式, 提出一种能有效利用云存储架构的双层缓存技术. 通过在客户端和服务器端建立分布式缓存, 能有效避免用户频繁访问远端数据, 为用户构建轻量级的客户端, 解决了目前地学数据可视化软件大量占用用户本地存储容量的问题. 同时服务器端也避免了多次访问云存储文件系统, 减少了大量的数据检索与加载时间. 其次, 提出一种ARLS(association rule last successor)访问预测算法, 根据用户的历史访问记录, 利用关联规则挖掘用户的访问模式, 对其访问行为进行预测, 进而提前加载数据, 提高缓存命中率, 解决了用户在可视化过程中不断移动兴趣区域, 频繁更换渲染数据的问题, 能有效应对用户具有多种访问模式的情况, 提高了预测准确率. 实验结果表明, 该云存储架构显著减少了本地资源消耗, 访问预测算法的准确率在最差情形下可达47.59%, 平均准确率达91.3%, 分布式缓存的平均缓存命中率达95.61%, 可有效支持云端大规模地震数据的快速可视化.     

物联网密文数据访问中可撤销的混合加密控制算法设计

针对物联网密文数据访问中用户隐私数据的安全性与数据应用操作效率要求之间的矛盾问题,提出一种新的可撤销的混合加密控制算法。介绍了对称加密算法,根据物联网密文数据访问中用户录入的指纹,通过数据特征提取过程、模板生成过程以及密钥生成过程生成可撤销密匙。介绍了公钥加密算法,给出物联网密文数据访问中公钥加密算法加密过程。对对称加密算法和公钥加密算法的性能进行对比,将二者结合在一起形成可撤销的混合加密控制算法。将椭圆加密算法和AES加密算法作为对比进行测试,结果表明所提算法效率高,对明文和密钥有较高的敏感性。     

跨境电商系统用户数据库智能访问方法优化

为了解决传统方法不适于大规模用户访问,访问准确性差的问题,通过语义指向性匹配和多维索引树编码结合的方法,对跨境电商系统用户数据库智能访问优化方法进行研究。建立跨境电商数据库模型,为数据库智能访问提供模型依据。依据模糊层次聚类提取语义指向性关联特征,在概念格中完成语义指向性相似度计算,依据提取特征,通过相似度匹配实现数据库智能访问,针对其在用户规模较大时影响访问准确性的问题,采用多维索引树编码的方式对其进行优化,实现对跨境电商系统用户数据库智能访问方法的优化。结果表明:采用所提方法对跨境电商系统时域数据与时频数据语义指向性特征进行提取,能够完成数据语义本体特征指向性聚类,冗余干扰信息被滤除,特征分布聚类性较强;对查全率水平较高情况下的查准率进行测试,发现所提方法在查全率升高时,可令查准率保持在较高的水平,未随查全率的升高有显著下降。可见所提方法访问准确性高。