图形处理器上CSB~+-树索引的并行构建算法

为提高缓存敏感CSB+-树索引的操作效率,在图形处理器(GPU)上研究CSB+-树的并行构建和查询性能.通过分析索引树内部节点的每一键与对应叶子节点的映射关系,提出了一种一次性并行构建CSB+-树所有内部节点键值的无锁并行算法,以最大并行度来快速构建索引树.该算法通过设计GPU平台上支持CSB+-树的索引数据任意伸缩的动态数组来解决GPU上不能动态分配显存空间的问题,通过在索引内部节点的边界增加填充位来减少线程块的线程分支数,从而提高CSB+-树的查询效率.实验结果表明,文中所提算法的运行时间比基于单个节点和基于树层的并行算法分别提高了31.0和1.4倍.     

一种具有服务质量支持的数据访问方法

针对目前的查询优化技术并没有考虑网格环境中数据源的动态特征,导致数据访问质量很差的问题,文中提出了网格环境中具有服务质量(QoS)支持的数据访问方法.它能在查询优化的过程中考虑数据源的动态特征以及用户的QoS要求,根据用户的QoS要求选择不同的查询执行计划;文中还提出了基于管道并行方式的分层管道树来对多连接表达式进行优化,它不仅可以提高并行度而且可以尽快返回部分结果给用户.实验结果表明,文中提出的方法是有效的,可以为不同类型的用户提供不同等级的数据访问服务.     

面向图形处理器重叠通信与计算的数据划分方法

针对"主核心+协处理器"式异构并行系统采用数据平均划分再分批执行的方法来解决主协式处理架构的额外通信开销时未能充分利用系统资源的问题,提出了一种新的数据比例划分方法.结合系统通信带宽和图形处理器(GPU)的计算能力,将应用数据按比例划分为大小不同的数据块后分批提交给GPU处理,使系统的传输资源PCI-E总线和计算资源GPU在一段时间内并行工作,从而实现了应用通信与计算的重叠.在处理按照比例划分的数据块过程中,尽可能充分利用系统的传输资源和计算资源,以减少数据传输和计算的相互等待时间.实验结果表明,采用数据比例划分方法后的应用性能明显提高,可以有效地重叠通信与计算时间,矩阵相乘和快速傅里叶变换总执行时间比未划分时分别减少了5%和30%左右,比平均划分时分别减少了3%和6%左右.     

链路层光纤网络被动数据存储方法研究

针对光纤网络被动数据存储开销较大的问题,提出一种基于动态副本自适应分簇路由分配的链路层光纤网络被动数据存储方法.首先构建链路层光纤网络数据存储的节点分布模型,采用相空间重构方法进行链路层光纤网络被动数据结构分布重组,然后结合自适应匹配滤波方法进行冗余数据滤除,求得被动数据存储节点的适应度函数,采用动态副本自适应分簇路由分配方法实现数据存储的优化分配设计.最后进行仿真测试,结果表明,采用该方法进行链路层光纤网络被动数据存储,能节省存储开销,存储空间的吞吐量得到有效提高.     

共轭梯度法在GPU及Xeon Phi下的并行优化及比较

为了充分利用多核处理器的强大计算能力并满足具有高并行度应用的需求,提出一种基于大规模稀疏矩阵特征问题求解的并行共轭梯度算法.对图形处理器(GPU)上的计算,有效利用GPU多层次的存储器体系,采用线程与矩阵映射、数据合并访问、数据复用等优化手段,并通过高效的线程调度来隐藏全局存储器的高延迟访问;对Xeon Phi处理器上的计算,有效利用Xeon Phi的高并行度计算对数据通信/传递、减少数据依赖、向量化、异步计算等进行优化,并通过高效的线程调度来隐藏全局存储器的高延迟访问.文中还通过实验验证了算法的可行性和正确性,并对比了不同方式下的运行效率,发现共轭梯度法在GPU下比在Xeon Phi下的加速效果更好.     

MapReduce框架下基于森林存储结构的查询结果共享

当前的大规模数据分析通常在MapReduce框架下执行查询,由于MapReduce框架本身的冗余性以及查询之间的重叠性,复用已有查询的结果可以大幅提高查询的执行效率。复用查询的结果需要对其进行存储和匹配管理,产生高昂的系统开销,抵消复用的部分效果。针对目前先进的查询结果复用系统Re Store在管理查询结果和匹配中存在的效率低下的问题,提出森林结构的Job存储管理技术和与之相适应的匹配算法,提高查询的匹配效率,减少系统的开销。为了使系统能够充分复用已执行查询的结果,提出对多个查询进行预处理的方案;通过改变各查询进入Pig编译器进行编译的顺序,从而改变Job的执行顺序,使得加载相同数据集的Job同时执行,减少与存储库进行匹配的次数。实验表明,在构建存储结构与匹配已有结果过程中,提出的方法与Re Store相比,节约16.3%的时间开销,伸缩性也更好。     

MapReduce框架下的查询结果共享

当前的大规模数据分析通常在MapReduce框架下执行查询。由于MapReduce框架本身的冗余性以及查询之间的重叠性,复用已有查询的结果可以大幅提高查询的执行效率。复用查询的结果需要对其进行存储和匹配管理,产生高昂的系统开销,抵消复用的部分效果。本文针对目前先进的查询结果复用系统ReStore在管理查询结果和匹配中存在的效率低下的问题,提出森林结构的Job存储管理技术和与之相适应的匹配算法,提高查询的匹配效率,减少系统的开销。为了使系统能够充分复用已执行查询的结果,本文提出对多个查询进行预处理的方案,通过改变各查询进入Pig编译器进行编译的顺序,从而改变Job的执行顺序,使得加载相同数据集的Job同时执行,减少与存储库进行匹配的次数。实验表明：在构建存储结构与匹配已有结果过程中,本文提出的方法与ReStore相比,节约16.3%的时间开销,伸缩性也更好。     

Co-OLAP:CPU&GPU混合平台上面向星形模型基准的协同OLAP

当前GPU(图形处理器),即使是中端服务器配置的中端GPU也拥有强大的并行计算能力.不同于近期的研究成果,中端服务器可能配置有几块高端CPU和一块中端GPU,GPU能够提供额外的计算能力而不是提供比CPU更加强大的计算能力.本文以中端工作站上的Co-OLAP(协同OLAP)为中心,描述如何使中端GPU与强大的CPU协同以及如何在计算均衡的异构平台上分布数据和计算以使Co-OLAP模型简单而高效.根据实际的配置,基于内存容量,GPU显存容量,数据集模式和订制的AIR(数组地址引用)算法提出了最大高性能数据分布模型.Co-OLAP模型将数据划分为驻留于内存和GPU显存的数据集,OLAP计算也划分为CPU和GPU端的自适应计算负载来最小化CPU和GPU内存之间的数据传输代价.实验结果显示,在SF=20的SSB(星形模型基准)测试中,两块至强六核处理器的性能略优于一块NVIDA Quadra 5 000GPU(352个cuda核心)的处理性能,Co-OLAP模型可以将负载均衡分布在异构计算平台并使每个平台简单而高效.     

基于损失函数的单元测试用例自动化生成算法研究与实现

软件测试是软件开发过程中最为耗时的阶段之一.通过自动执行大量的测试用例,可以高效、及时地发现软件程序中潜在的错误,这是提高大中型软件开发质量的重要技术发展趋势.目前较多的元启发式优化算法已经能够实现测试用例的自动生成,但测试效率较低且开销较大,所以如何使得生成的测试用例在数量较少的情况下覆盖尽可能多的目标,就成为自动化测试用例生成中的核心技术问题.本文提出一种基于损失函数的单元测试用例自动化生成算法(LFGA),在遗传算法的执行过程中,根据测试用例种群的路径覆盖情况,动态改变后续种群的分布,保证整体数据分布的平衡性.并利用分支信息优化自适应交叉变异算子,自动生成规模尽可能小且高覆盖的有效测试用例集.实验结果表明,相比于已有的自动生成测试用例方法,较好地解决了传统模型中初值依赖、收敛早熟、局部寻优能力滞后等缺陷,保证了生成的测试用例平均覆盖率达到95%,提升了搜索效率及数据使用效率.     

无线感测网络上节能的事件驱动数据汇集机制

针对无线感测网络上动态改变的事件,设计一套有效率的数据汇集机制.采用网格架构,建立数据汇集树将事件数据传送至汇集点.在初始建立数据汇集树架构时便尽量减少多余的回传节点,以减少感测点的能量消耗.而在事件产生变动时,可应事件变化的调整机制让树架构依然有效率的运作.本文提出的方法与无线感测网络中的3个数据汇集技术EADA、Dual-Tree-Based和Range Query做比较,仿真结果显示本文的方法能够有效的延长网络存活时间,且在总能量消耗及系统开销(overhead)皆有良好表现.     

数据预处理在商业企业数据仓库的应用

数据预处理是数据挖掘过程中重要环节 ,对数据预处理技术进行研究具有现实意义。文章在介绍数据预处理方法的基础上 ,结合大型商业营销企业数据仓库数据的特点和数据挖掘过程中对数据的要求 ,详细论述了数据预处理技术在大型商业营销企业数据仓库中的应用 ,提出改善数据质量是预处理技术的关键。     

基于DataGuard的Oracle RAC高校数据保护研究

数据是高校管理信息化产生的最重要的无形资产,数据的丢失或者损坏都将极大地损害教学、管理和科研工作的正常开展．Oracle RAC是目前使用最为广泛的数据库集群化管理方式,在此基础上开展DataGuard数据保护技术的应用研究,可以弥补集群数据库环境在数据容灾、备份和故障恢复方面的不足,提升数据的安全性,确保高校各类应用系统的正常运行．     

人工智能赋能高校数据治理:逻辑、挑战与实践

随着人类社会逐步迈入以情感计算、自然语言处理等智能技术为核心支撑的人工智能时代,数据的战略资源地位日益凸显,数据治理已成为推进高校教育治理现代化的关键工具。人工智能赋能高校数据治理的基本逻辑主要体现在数据管理、数据质量、数据决策与数据服务4个层面。高校数据管理忽视“多方协同管理”、缺乏相对统一的数据质量标准、数据决策在权责限定与顶层设计方面存在缺失、数据服务潜能激发不力制约数据价值高效释放等可被视为人工智能赋能高校数据治理的现实挑战。对此,应创设落位智能共管的高校数据管理职能优化机制、完善校本化高校数据挖掘与共享质量标准、构建基于责权厘定的智能化数据决策体系、优化指向数据价值释放的智能数据服务体系。     

Microsoft Excel的数据库管理方法

从一般数据库管理的角度出发,论述Excel管理数据库的方法。这种“表格”式的数据库管理方法将提供给用户一种新颖的设计方法和简单的使用操作。具有很大的推广价值。     

中小油田地震数据计算机管理方法研究

石油勘探技术发展迅速 ,需要一个集地震、测井、地质 3种数据为一体的勘探数据库来支持新的研究工作 .对包括地震资料处理、解释等资料的存储、应用方法进行了探索 ,提出了一种适合于中小油田的地震数据管理方案 .通过分析地震资料处理、解释产生的各类数据及其特点 ,从存储管理方法、数据规范化、质量控制方法、应用支持方法、数据服务方法等方面进行了详细论述     

化工物性数据库CPPDB在IBM-PC/XT机上的实现

讨论了文题实现方法,介绍了该数据库的总体结构。CPPDB利用dBASE Ⅲ支持建库,数据独立性高,修改、扩充方便。CPPDB存储了468种物质的29种物性数据,具有较强的物性估算和图形输出功能。     

数据挖掘和数据仓库的关系研究

阐述了数据挖掘和数据仓库的有关技术,研究了数据挖掘和数据仓库的相互关系,说明了数据挖掘系统和数据仓库应统一分析和设计.     

数据仓库数据加载技术

数据仓库中的数据不是传统数据库中数据的简单堆积，其数据的组织必须方便基于数据仓库基础之上的数据挖掘和商业智能工作，为决策者提供访问、分析及共享信息的能力，从而发挥数据仓库的真正功效。成功构造一个数据仓库的关键在于自始至终理解用户需要，紧紧围绕用户目标这一主题进行数据的搜集和存储。首先分析数据仓库的特点及拥有的数据类别及组成，重点介绍如何从现有数据库中有效地将数据引导至数据仓库的方法和策略，具体给出了数据仓库中5种不同类别数据的加载方法。     

大数据时代的数据挖掘技术与应用

随着数据挖掘技术研究的进步与发展,并伴随着大数据概念的提出,将为数据挖掘技术的发展和应用带来一个很大的机遇,数据挖掘技术将进入一个新的发展时期.文章全面介绍了大数据,数据挖掘的基本概念以及数据挖掘的分析方法,最后给出了大数据时代的挖掘技术的应用领域及将来发展方向.     

数据仓库清洗技术讨论

数据仓库建设过程中最关键的环节是数据集成,本文重点分析了数据清洗需要解决的问题及涉及的主要技术,针对数据库的数据模型与数据仓库模型的区别讨论了利用元数据的映射规则的数据清洗方法.