DM数据库中大规模数据智能自适应压缩算法

DM数据库中存在大量冗余数据,需对其进行压缩处理。传统数据压缩算法大多只追求高压缩率,不能保证数据的完整性;且适用范围小。为此,提出一种新的DM数据库中大规模数据智能自适应压缩算法。给出算法涉及的相关术语,介绍了智能自适应最优消零压缩算法的压缩原理,给出位数因子、编码长度、最优位数因子、最短编码长度以及编码因子的计算过程。在不同时刻对采集的DM数据库中的数据进行排列,通过自适应最优消零压缩算法原理求出数据序列最小编码长度和对应的最优位数因子;依据最优位数因子完成对数据序列的消零计算与编码,删除时间冗余,获取压缩后数据。实验结果表明,所提算法压缩效率高,在保证压缩比的同时,能够保证压缩后数据的完整性,且适用范围广。     

达梦数据库中大规模数据可扩展并行算法

DM数据库中的数据规模大且维度复杂,为了在有限的条件下尽可能满足用户对DM数据库功能的需求,提出一种新的DM数据库中大规模数据可扩展并行算法。不可扩展并行算法包括朴素并行、典型并行与逻辑并行三种处理规则,新算法将这三种处理规则结合起来实现数据自主运算,令每个运算节点均拥有三种处理模式,采用有向图将大规模数据划分为局部数据,并分配到处理器上,通过设置数据处理优先等级,完成流水线形式的数据处理过程,赋予并行算法强大的可扩展性。实验结果表明,新算法具有较强的可扩展性,负债均衡能力强。     

移动数据库中数据访问的自适应PUSH+PULL算法

在移动计算机环境中,数据广播只适应于时具有公共访问兴趣的热点数据的访问,而传统的联机请求方式则可以访问任何服务器数据。因此,为了使移动数据库支持一般性的数据应用,提出了一种将数据广播方式(称作“推”,即PUSH)和传统联机请求方式(称作“拉”,即PULL)结合起来的混合式数据访问算法:自适应PUSH PULL算法。与单纯的PUSH方式、PULL方式和简单的PUSH PULL方式相比,这种算法具有更大的应用空间,使移动用户不仅能及时获得所需数据,而且仍然能够充分发挥无线通信网络所固有的数据广播能力,从而提高了移动数据库系统的可伸缩性。     

大规模数值型数据库中敏感数据的加密算法研究

针对大规模数值型数据库中敏感数据的加密,传统算法无法解决当前行、列数据间加密密钥的干扰问题,导致安全性能较差,效率降低。为此,提出一种新的大规模数值型数据库中敏感数据加密算法,对大规模数值型数据库中的数据进行聚类处理,以过滤无价值数据,得到对用户有价值的数值型数据,降低计算量。给出大规模数值型数据库中敏感数据加密原理,进行大规模数值型数据库的元素级加密,使所有字段的密钥均不相同。介绍了一种只在加密和解密的过程中产生密钥的密钥生成方式,依据得到的密钥对大规模数值型数据库中敏感数据进行加密和解密处理,从而实现敏感数据的加密。实验结果表明,采用所提算法对敏感数据进行加密,不仅能够保证安全性,而且有很高的效率和存储性能。     

大规模数据库实时自主存取控制方法研究

近年来数据库存取压力逐渐增大,当前存取控制方法扩展性差、效率低、并发性能低。为此,提出一种新的大规模数据库实时自主存取控制方法。通过贝尔-拉帕丢拉模型对大规模数据库关系分析,将其划分成能够完成操作的主动元素和储存信息的被动元素。大规模数据库关系模型依据元素级的密级标识将密级划分成4个等级:绝密、机密、秘密、公开,依据密级实现对数据库模型的定义。介绍了大规模数据库关系模型中的密级区间、用户与角色及数据范围。依据实际应用中的特点,针对某类信息或某些"字段"将数据的密级划分至属性级,实现大规模数据库实时自主存取控制。给出数据库存取规则,详细分析了读规则、更新规则和插入规则。实验结果表明,所提方法查询效率、读取和更新效率及插入效率均较高,存取性能优。     

面向大规模数据集的单类支持向量机

提出了一种面向大规模数据集的单类支持向量机(OCSVM)方法.该方法基于k近邻思想得到表征数据集合分布特征的集合内点,并依此生成集合边缘点,而后由二者重新组成数据集合,用于OCSVM训练.该新建数据集不仅极大压缩了原有大规模数据集的样本数量,还可以保留原有大规模数据集的分布特征,从而有效解决了OCSVM在处理大规模数据集时所存在的训练时间长、模型复杂以及预测效率低等问题.最后,通过在典型数据集合上进行的对比实验,表明了所提方法的有效性.     

基于Bezier曲面的大规模散乱数据的插值

对于大规模散乱数据而言，传统的散乱数据的插值方法由于要通过求解联立方程组来得到插值曲面，因此无法适应大规模散乱数据的逼近．本文提出的基于Bezier曲面的大规模散乱数据的插值方法，是一种通过自适应的迭代方法，对大规模的采样点进行Bezier曲面插值的方法，有助于提高计算的速度和精度．     

异构数据库中数据集成技术研究

文章就数字化校园实现中所采用的几种数据集成方式作了介绍,并就数据集成中的重点环节作了简单的介绍,最后根据我校西北民族大学的实际情况提出了相应的解决方案.通过这种方法实现校园数据库集成,能大大提高数据共享能力,同时可加强对数据的管理,为今后学校的决策与分析提供了更好的支持.     

基于大规模数据库的备份恢复模型

结合事务处理的思想,提出了一个可并行的多层事务备份恢复模型,该模型具有备份速度快、容错能力强、对在线系统影响小等特点.通过在一个实际的、由多个数据库节点组成的大规模数据库系统平台上对该备份恢复模型的实现和应用,证明了该模型的合理性和可用性.     

针对饱和度全集上SAR原始数据自适应抗饱和BAQ压缩算法

为了解决A／D饱和而导致的传统Block Adaptive Quantization（BAQ）算法性能明显下降问题,提出了A／D后信号标准差的概念,并区别于传统处理方式,提出应用A／D后信号标准差归一化饱和原始数据,推导了适用于工程计算的数据幅度均值与A／D后信号标准差映射曲线。其次,对BAQ算法核心的Lloyd—Max量化器引入了饱和修正项,提出并完整推导了新的抗饱和最优非线性标量量化器,给出其详尽的设计方案。同时,详细分析了工程上应用FPGA实现星上实时编码时的Look—up table设计问题。地面解码时,推导了信号饱和度、A／D峰-峰值、A／D前、后信号标准差以及信号幅度均值五者之间的映射关系,并以此为依据设计功率补偿解码器,补偿A／D饱和而引起的SAR原始数据功率损失。ERS-1实测数据及仿真数据的实验结果表明,当A／D饱和时提出的压缩、解压缩算法性能明显优于BAQ算法。     

行列混合存储数据库的数据分布自适应优化算法研究

随着数据量和数据类型的逐渐增加,用户对数据存储性能的要求和整体需求越来越高,当前数据分布算法因为受到成本及可扩展性的约束,无法达到用户对存储的要求。为此,提出一种新的行列混合存储数据库的数据分布自适应优化算法,给出数据分片、数据访问频率矩阵、拓扑结构和最小支撑树的定义,将总成本最小作为依据判断数据是否冗余分布,获取行列混合存储数据库的利益函数。找到一个使利益最大化的数据分布方案,通过迭代求取该问题的解。输入相关参数,输出的结果即为数据分布结果。实验结果表明,所提算法读写能力和均衡性均较强。     

基于划分和压缩数据库的改进Apriori算法

针对Apriori算法在面对大规模数据时效率较低的问题,提出了一种基于划分和压缩数据库的改进方法。该方法首先依据特征数据出现的频率将数据按照升序存储在临时数组中;然后将原始事务数据库分为几个互不相交的事务数据库,使得子数据库能够容纳在内存中;最后根据每个子数据库计算出的频繁项集计算整个数据库的频繁项集,从而消除了不必要的冗余数据。通过改进可以将大规模数据集进行有效的划分和压缩,对子数据库进行关联规则挖掘。实验结果表明,改进的Apriori算法在针对海量数据挖掘的执行速度和效率都有很大提高。     

一类数据的层次压缩算法及其实现

一类数据的层次压缩算法及其实现孟宪福（计算机科学与工程系）关键词：算法；数据压缩／层次压缩分类号：ＴＰ３９１进行数据压缩的主要目的有两个：一是提高数据的传输速度，也就是在数据传输之前进行压缩处理；数据传输结束后，再进行恢复和使用。这样，可以减少数据的...     

大型文本数据库中分布式数据去重备份方法研究

数据去重可删除备份过程中的冗余数据,节约存储资源与与网络带宽,是目前数据存储领域研究的重点问题。针对传统方法去重率和吞吐量低的问题,提出一种新的大型文本数据库中分布式数据去重备份方法。介绍了大型文本数据库中分布式数据去重方法基本思想,通过文件管理部分对数据片组中的扶贫数据进行查询和统计,给出数据片组路由策略,分析了数据预取过程。通过最终权值完成对数据块的排列,以恢复时间与恢复成本达到最小化为目的设计适应度函数。通过改进遗传方法对大型文本数据库中分布式扶贫数据进行备份。实验结果表明,所提方法有很高的去重率和吞吐量,且成本低,恢复速度快。     

阈值上限一定时超大规模数据库的查询方法研究

在确定查询阈值上限时,当前数据库查询方法只能使用查询树的一条路径,并行性能较差;在对超大规模数据进行查询时,具有查询时间长、响应不及时的弊端。为此,提出一种新的阈值上限一定时超大规模数据库的查询方法,通过RSA算法对超大规模数据库进行加密和解密处理,依据多叉树的定义构造多叉索引树,在此基础上计算各代表数据点与查询点之间的距离;在阈值上限一定时,利用多个从节点机并行处理后,使用主节点机汇集结果,运用后续子树递归处理,直至获取查询结果。实验结果表明,所提方法不仅具有很高的查询效率,而且CPU使用率很高。     

Anti-saturation block adaptive quantization algorithm for SAR raw data compression over the whole set of saturation degrees

In order to improve the performance of block adaptive quantization (BAQ) when the output of the analog to digital converter (ADC) is saturated, this paper proposes an anti-saturation BAQ algorithm. First, the concept of the standard deviation of the output signal (SDOS) of the ADC is proposed. Also, unlike traditional normalization processing, SDOS is used and the mapping between SDOS and the average signal magnitude is deduced. Second, the saturation term is introduced to the Lloyd–Max quantizer and an optimal non-uniform scalar quantizer for saturated SAR raw data quantization is proposed. After this, the implementation scheme for the proposed algorithm using an FPGA is analyzed in detail. Third, the relationships among the saturation degree of the signal, the peak-topeak value of the ADC, standard deviation of the input and output signal of the ADC and the average signal magnitude are deduced. Based on these relationships, a power compensation decoder is designed for encoding. Numerical experiment results based on ERS-1 and the simulated data show that the performance of the proposed algorithm is better than that of BAQ.     

云计算环境下大数据视频图像的尺度空间融合算法研究

针对传统算法融合图像质量差、清晰度低、损失图像包含信息的弊端,提出一种新的云计算环境下大数据视频图像的尺度空间融合算法,介绍了尺度空间理论。通过具有平移不变性特征的提升静态小波变换算法对云计算环境下大数据视频图像进行尺度空间融合,对待融合图像进行提升小波变换分解处理,获取不同尺度空间下的低频子带系数与高频子带系数。针对低频子带系数与高频子带系数给出各自的融合方案,获取融合图像的提升静态小波变换系数。通过提升静态小波逆变换获取最终的融合图像。从主观和客观两个方面对所提算法的融合效果进行测试。结果表明,所提算法主观融合效果好,通过客观评价指标对融合图像进行评价,发现所提算法得到的融合图像清晰度、质量佳,不会损失图像包含信息。     

大规模矩阵计算的研究

大规模矩阵特征计算问题和线性方程组计算问题来源于大量的应用科学和工程，其数值求解的方法和理论研究是一个重大课题，总结了作者几年来在该领域中的主要理论结果和开发的算法，它们对该领域的发展有着重要的影响，为实际问题的解决提供了强有力的工具。