行列混合存储数据库的数据分布自适应优化算法研究

随着数据量和数据类型的逐渐增加,用户对数据存储性能的要求和整体需求越来越高,当前数据分布算法因为受到成本及可扩展性的约束,无法达到用户对存储的要求。为此,提出一种新的行列混合存储数据库的数据分布自适应优化算法,给出数据分片、数据访问频率矩阵、拓扑结构和最小支撑树的定义,将总成本最小作为依据判断数据是否冗余分布,获取行列混合存储数据库的利益函数。找到一个使利益最大化的数据分布方案,通过迭代求取该问题的解。输入相关参数,输出的结果即为数据分布结果。实验结果表明,所提算法读写能力和均衡性均较强。     

基于MongoDB集群的遥感数据存储方法研究

应用MongoDB非关系型数据库,提出了一种基于MongoDB数据库集群的遥感数据的储存方法,提出了影像文件与元数据分离存储的策略;并对MongoDB集群数据分片的片键机制进行了深入研究.根据遥感数据的特点提出了基于"升序键+搜索键"数据分片方案,通过应用哈希一致性算法改善集群间数据分布均匀性,通过分布式的高速内存缓存提高遥感数据的检索效率,并实现了基于此方法的架构模型.最后针对文中存储方法提出了测试方案并进行了对比测试实验,实验结果表明该存储方法能够较好地提高遥感数据存储和检索的性能,适用于遥感领域的数据存储.     

局部对称算法在区块链分布式存储中的优化

提出一种局部对称算法,将区块链系统中的节点划分为多个节点子集,每个节点子集生成一个私钥对数据进行加密,将加密后的数据分布存储于节点子集的节点中.利用局部对称算法将哈希值和私钥分别设为全局秘密和局部秘密,用局部秘密对数据区块进行加密并将结果分布存储于节点子集的节点中,用基于中国剩余定理秘密共享的分布式存储方案对私钥和哈希值进行有效存储,达到降低存储成本和通信成本的目的.仿真结果表明,对比减存储算法和单节点故障算法,局部对称算法在区块链分布式存储中的存储成本和通信成本更低.     

基于MongoDB集群的遥感数据存储方法的研究

随着遥感探测技术的发展,遥感数据的数量和质量都在逐步提高,如何有效地存储和管理这些数据成为当前研究的重点。应用MongoDB非关系型数据库,提出了一种基于MongoDB数据库集群的遥感数据的储存方法,设计了影像文件与元数据分离存储的策略;并对MongoDB集群数据分片的片键机制进行了深入研究,根据遥感数据的特点提出了基于"升序键+搜索键"数据分片方案,通过应用哈希一致性算法改善集群间数据分布均匀性,通过分布式的内存缓存提高遥感数据的检索效率,并实现了基于此方法的架构模型。最后针对所提出的存储方法设计了测试方案并进行了对比测试实验,实验结果表明该存储方法能够较好地提高遥感数据存储和检索的性能,适用于遥感领域的数据存储。     

某基础数据库数据分布特点及模型算法

分布式数据库是构建基础数据服务的主要技术,而数据分布的科学性直接决定数据库的稳定性和服务效率;文章从数据分布的基本策略入手,系统分析了某基础数据库的应用特点,总结出数据分布的基本原则,并对分割式数据分布策略模型进行改进,以启发式算法为基础形成对特定复本数和分布地域的混合式数据分布模型算法。     

基于SN结构并行实时数据库的数据存储策略

将实时机制引入并行数据库系统，讨论了数据分布聚集度、数据的暂存状态及时间均衡等概念。提出了并行实时数据库的数据关联放置方法，数据存储的原则及策略。     

一种多最小支持度加权关联规则挖掘算法

针对实际交易数据库中,不同项目的重要性和出现概率各不相同的两个问题,提出一种基于等价类和多最小支持度的加权关联规则算法,从而挖掘出那些覆盖较少数据但却有意义、用户可能更感兴趣的关联规则。算法按照项目的最小支持度升序对交易记录进行等价类划分,然后按照项目的最小支持度降序依次求出每一等价类内的加权频繁项集。算法采用垂直数据库的数据表示形式,挖掘过程中避免了对数据库的重复扫描。对比实验结果证明,改进算法具有良好的挖掘性能。     

基于并行数据仓库的数据分布调整策略

并行数据仓库系统的性能与数据在多处理机之间的分布密切相关.本文根据并行数据仓库系统的体系框架,提出了全新的并行数据仓库数据三层模式结构,并在此模式基础上,根据用户查询的变化设计了动态多维数据分布和调整策略,通过改变数据分布模式和数据物理存放的方式来保证系统数据分布均匀和工作负载均衡.实验结果证明,此算法能有效地缩短OLAP平均查询响应时间,提升系统的整体性能.     

接触电阻计算新方法

运用模糊系统对接触电阻进行建模.首先通过全因子法进行试验,得到足量试验数据,从试验数据中选出一部分能代表整个样本空间特征的数据作为训练数据训练模糊系统,剩下的作为测试数据对模糊系统进行测试,检测系统可靠性.然后在分析基本遗传算法与递推最小二乘算法特点的基础上,将二者结合形成混合算法,混合算法是在基本遗传算法之后进行递推最小二乘算法的运算.通过训练数据分别利用递推最小二乘算法、基本遗传算法、混合算法训练模糊系统,混合算法的收敛效果优于其他2种方法.通过训练数据建立基于回归分析的接触电阻模型.利用测试数据对各模型进行测试,并比较测试结果,混合算法训练模糊系统所得模型的测试效果是各模型中最好的.测试和比较结果说明若能得到足量训练数据,用混合算法训练模糊系统的方法对接触电阻进行建模是可行的.     

混合动态数据库集群的并行空间连接优化算法

传统算法数据划分冗余度和倾斜度高,无用连接数据多,降低负载均衡性,对整体效率产生不好的影响,不适于实际应用。为此,面向混合动态数据库集群提出一种新的并行空间连接优化算法。采用网格划分法对数据进行划分,依据空间数据划分结果获取数据分布状态,计算节点按照数据分布状态得到候选集。通过平面扫描形成若干子空间连接的子任务,利用构建节点花费模型,依据花费模型对并行空间连接所需的平均节点访问个数进行评估,把候选任务集分配至不同计算节点,在不同节点执行并行空间连接操作。通过边界过滤策略,删除不可能有结果的元组,提高效率,增强算法的实用性。实验结果表明,所提算法适于实际应用,效率高。     

基于Spark的移动用户行为轨迹大数据分析

为获取移动用户轨迹数据中的价值信息,利用Spark集群分布式处理用户行为轨迹的原始数据,对存入HBase分布式数据存储中的数据进行筛选、分析后存入Hive数据库中,Spark对数据库文件中的数据进行相关性卡方检验和K-Means聚类分析,得到用户出行方式的统计结果及在距离限制下出行方式选择的普遍规律.该过程为用户行为分析和预测提供可行的解决方案.     

GSM中归属位置寄存器数据库的设计与实现

基于某种移动通信系统（ＧＳＭ）数字程控交换机归属位置寄存器（ＨＬＲ）数据库系统的工作原理,对ＨＬＲ数据库内容特别是用户数据进行详细分析,针对用户数据容量大的特点,设计出模块数据存储方案;并且通过定义数据特征描述表给出了独立于存储结构的用户访问模型和一组高效的ＡＰＩ函数。整个数据库设计方案数据冗余度小,操作简单快速,在应用层较好地屏蔽了数据的存储结构,数据调整灵活。     

GSM中归属位置寄存器数据库的设计与实现

基于某种移动通信系统（ＧＳＭ）数字程控交换机归属位置寄存器（ＨＬＲ）数据库系统的工作原理，对ＨＬＲ数据库内容特别是用户数据进行详细分析，针对用户数据容量大的特点，设计出模块管理的数据存储方案，并且通过定义数据特征描述表给出了独立于存储结构的用户访问模型和一组高效的ＡＰＩ函数．整个数据库设计方案数据冗余度小、操作简单快捷，在应用层较好地屏蔽了数据的存储结构，数据调整灵活．     

基于云计算的商业情报采集系统

商业情报采集系统不同于传统的搜索引擎系统,情报具有时效性、针对性等特点,传统搜索引擎中的数据分类和聚类技术不能完全满足商业情报采集过程中对时效性和针对性的特殊需求。提出一种商业情报采集解决方案,在云计算环境中采用贝叶斯分类算法和多种网页去重、提取等算法,实现对互联网数据的实时性抓取、分析、分类、聚类,形成对用户全方位立体化的情报本体,抓取的海量数据采用分布式文件系统存储,采集的情报用基于云的数据库CouchDB存储。     

一种高效挖掘高维数据的频繁闭合模式算法

为了克服传统高维数据挖掘频繁闭合模式算法迭代产生子表,引起算法执行时间长和存储开销大等问题,提出了一种高效挖掘高维数据的频繁闭合模式的算法EMHCP. EMHCP算法采用一种新型结构位图表来压缩存储数据,在仅扫描数据库一次后,建立位图转换表.根据位图转换表来构建混合树结构,采用深度优先的方式和有效的剪枝策略高效挖掘出所有的闭合模式.从而有效地缩小了搜索空间,加快了处理速度.通过在生物数据库应用的实验结果表明, EMHCP算法比已有的CARPENTER和TD-close等算法更为有效.     

XML数据在关系数据库中存储和检索和研究和实现

论述了关系型数据库和XML数据之间的相互转换，给出了将XML数据存储在关系数据库和将存储在关系数据库的XML数据恢复的XML形式的算法，由于实际数据类型的复杂性，使用Schema来定义XML文档类型，试验结果表明算法具有较好的性能，讨论了将XML＿QL查询语句转换为SQL查询语句的设计，根据文中XML数据存储在关系型数据库中的算法，可以对XML＿QL查询语句的语法，语义进行分析以转换为相应形式的SQL语句来关系数据库中查询被存储的XML数据，并返回相应的结果集。     

大数据存储技术在张衡一号卫星数据服务中的应用

随着张衡一号卫星监测数据的不断增加,目前的HDF5文件存储方式不仅在性能扩展性、读写并发性等方面凸显出劣势,而且无法实现对业务数据的精准时空查询,这给用户带来很大困扰。为解决对海量卫星数据的高效存储和读取,本文分析了HBase数据库和ElasticSearch搜索引擎的优缺点,提出了一种基于二者相结合的卫星大数据存储方案,并搭建了Hadoop架构的大数据试验平台,完成了对张衡一号卫星空间电场ULF频段数据的存储试验和对比测试。结果表明,该方案大大提高了对海量卫星观测数据的读写并发性能,达到当前文件存储方式的几十倍,并实现了对卫星数据的精准定位和快速查询,很好地满足了用户要求。     

云环境下用户隐私混合加密方案及其性能分析

针对云环境下用户隐私数据的安全性和数据应用操作效率要求相矛盾的问题,提出了一种基于同态加密和基于属于加密的混合方案,实现对云用户隐私信息进行分类加密保护.方案中将用户数据分为绝对保密的数据和可信用户合理访问的数据2类,其中对绝对保密的数据采用同态加密算法;对可被部分授权用户访问的数据制定相应的访问控制树,并采用基于属于的加密算法.设计了云环境下混合加密方案,分为客户端和服务端,并将混合加密方案与基于属性的加密方法从加解密时间和存储开销进行了比较,可以看出混合加密方案具有很好的应用前景.     

存储特定流数据的通用框架

通过仔细研究存储流数据的各种应用的共同特征,提出了一种数据流存储模型.在数据流存储模型基础上,采用先进的基于组件的开发方法,实现了一个存储流数据的通用框架,通用框架采用本体技术来解决语义互操作性.测试结果表明,通用框架可以调用一组用户提供的过滤算法,筛选出指定数据流中符合条件的信息,将它们成批存储到数据库中.用户可以通过定制和配置参数的方法,在各种不同的应用环境中重用该通用框架.     

XML数据在关系数据库中存储和检索的研究和实现

论述了关系型数据和XML数据之间的相互转换 ,给出了将XML数据存储在关系数据库和将存储在关系数据库的XML数据恢复为XML形式的算法 .由于实际数据类型的复杂性 ,使用Schema来定义XML文档类型 .试验结果表明算法具有较好的性能 .讨论了将XMLQL查询语句转换为SQL查询语句的设计 ,根据文中XML数据存储在关系型数据库中的算法 ,可以对XMLQL查询语句的语法、语义进行分析以转换为相应形式的SQL语句来在关系数据库中查询被存储的XML数据 ,并返回相应的结果集