数据仓库中一种有效的高维联机分析处理方法

在大量数据仓库系统中,对于一个d维的data cube, 数据立方体(cube)可以生成2d个聚集cuboids, 然而随着数据仓库维数的增长,计算这些预聚集数据已经成为一个瓶颈.在minimal cubing方法的基础上,提出一种具体层次语义特性的多维层次数据立方体--前缀索引立方体(prefix-index cubing)技术,将高维cube划分成若干个低维立方体cube, 以实现高维cube的分布式存储和并行计算.理论分析与实验结果表明,相对于以往的minimal cubing等方法, 前缀索引立方体方法的性能显著提高.     

面向标记安全数据库的Skyline立方体算法

为了提高Skyline查询的数据安全性和响应速度,提出了标记Skyline立方体概念.标记Skyline立方体面向标记安全数据库,符合强制访问控制的读访问规则.它由所有不同标记用户的Skyline查询结果组成,通过预计算这种立方体,能迅速响应每个不同标记用户的Skyline查询.为了高效计算标记Skyline立方体,设计并实现了一个基于共享策略的算法.该算法结合Skyline特点和标记特点进行了优化.利用标记支配关系所蕴含的点集包含关系,通过迭代实现计算结果共享,避免了独立计算立方体中每个Skyline所导致的低效率.     

基于MapReduce的封闭立方体并行计算方法

封闭立方体是一种非常有效而重要的数据立方体压缩技术,目前还缺乏对其并行算法的研究.为此,文中提出一种采用C-Cubing方法并通过MapReduce并行模型进行并行化的新方法.该方法首先在Map过程中对各个数据分块计算出数据单元的代表元组和封闭掩码,然后在Reduce过程中进行聚合以获得封闭单元.实验结果表明,文中方法能有效地提高在大数据集上计算封闭立方体的速度.     

复杂组合气道三维分块结构化贴体网格的生成

给出了螺旋与切向气道相组合的进气系统结构网格生成的一种拓扑分块方案及实现过程,求解椭圆型方程生成各块内三维网格,用Hilgenstock方法修正源项,并利用分块粘接技术生成了组合进气管道三维分块结构化贴体网格．计算算例表明该网格拓扑分块方案以及生成方法可以对组合气道流场的流动进行较好地模拟．     

基于MapReduce的C-Cubing并行算法

封闭立方体计算的主要任务是在生成一个数据单元时,判断其是否封闭。针对该问题,C-Cubing是新近提出的一种有效的方法,不同以往基于输出或基于元组的方法,它仅通过特定的度量,即封闭性度量,就可以判断出封闭单元。然而随着数据量的增加,C-Cubing的性能下降,因此它的并行算法还有待研究。本文提出基于MapReduce并行框架,采用C-Cubing对封闭立方体并行计算的方法,并在Hadoop上给予了实现。实验结果表明,本方案能够利用廉价的PC机器,有效提高了在较大数据集上计算封闭立方体的性能。     

基于多分支树结构的电力缴费终端数据完整性验证方案

针对电力缴费终端存在管理人员操作不当和黑客攻击等行为导致数据损坏和丢失等问题,设计了一种基于多分支哈希树结构的数据完整性防护验证方法。该方法利用基于双线性映射的签名机制和多分支树结构的特性,通过使用随机掩码技术对分块的数据进行随机化处理,以确保数据的隐私性,采用多分支树形结构实现对数据块的快速认证和快速签名,并利用哈希树节点的哈希值验证数据块的完整性,引入验证服务器对数据分块进行批量验证和证据计算,并通过设置备份服务器完成对存储数据的备份处理。实验结果表明,该方案可以有效提高对存储数据完整性的批量检测效率,并降低终端和主服务器的计算开销,同时具有较小的计算开销和较高的安全性。     

基于XML的发布/订阅系统的评测算法研究

提出了在XML数据流上有效评测XPath订阅的技术和方法。根据XPath层次结构的语义特征, 设计了基于非确定有限状态自动机的动态索引结构, 使得具有相同前缀的XPath查询可以共享存储索引的空间和共享查找索引的计算。基于栈的新评测算法设计了高速缓存软件预取技术, 以处理评测过程中频繁出现的cache缺项问题。系统取得了很高的性能, 通过全面的实验表明, 系统可以有效处理超过百万以上XPath查询的负载量。     

数字岩心多分辨率存储及连通区域分析

为解决数字岩心文件因数据量大而导致存储空间狭窄和访问效率低下的问题,以及分析岩心孔隙的连通区域并管理其性质,通过四叉树和八叉树分块方法对数字岩心进行分布式多级分辨率存取,通过扫描线、三角剖分、四面体剖分和地图染色方法识别和划分连通区域,基于移动立方体算法求取连通区域边界面。结果表明：生成的多分辨率岩心数据根据浏览范围选择粒度层级,减少了数据读取量并提升了临近区域数据获取速度;分色划分连通区域展现了数字岩心的连通性质,并建立了三维模型实现对孔喉结构形态的分析。该研究结果为数字岩心的高效存取、连通性分析及孔喉结构建模提供了方法支持。     

基于喷泉码的隐私保护和数据恢复方法

为进一步提高数据的可靠性,提出一种基于喷泉码的隐私保护和数据恢复方法.该方法利用块内计算复杂度有上界且各码块之间相互独立的特性,对数据进行分块编码及译码,实现快速数据恢复.同时采用随机密钥对信息进行扩展以实现数据的轻量加密,从而达到隐私保护的目的.在相同的随机篡改环境下,通过大量数据进行对比实验,结果表明:与已有的喷泉码编码方法相比,该方法具有更高的数据恢复精度以及较低的计算复杂度和通信复杂度,对随机篡改具有较强的抗毁性,更适合解决存储中的数据失效或篡改问题.     

一种基于搜索树的轻量级RFID标签防碰撞方案

针对现有的RFID(radio frequency identification)搜索树防冲突方案由于查询命令过长，会产生大量的冗余数据，增加通信开销的问题，提出一种基于搜索树的轻量级防冲突方案。该方案设计了一种新颖的查询-响应模式(即单查询双响应)，该方法能够使冲突标签分别根据2个后续时隙中的最大有效冲突位对下一个查询作出响应，将查询总数减少一半；该方案用计数器代替了标签中的前缀匹配电路，可消除前缀作为查询命令的参考参数。此外，该方案提出了一种预测识别方法以减少所需时隙总数。最后，该方案还提出了一种避免识别标签与未识别标签冲突的锁定技术，提高了标签的识别效率。实验结果表明，采用双应答模式和计数器触发的单次查询方式，通信开销总体上降低了42%；采用预测识别方式，吞吐量随着标签数量的增加而提高。     

Oracle 分区表和分区索引在 VLDB 中的研究

分区表和分区索引功能是数据库管理中的关键技术之一,是海量数据库管理(Very Large Databases,VLDB)中一个重要的性能提升机制.分区技术的原理是将逻辑上的一个大表拆分成多个独立的物理分区来存储,从而提高数据I/O性能.面对大数据的存储,几乎所有Oracle数据库都用分区技术来提高查询数据的性能.通过分析一个项目案例,说明如何综合使用分区表和分区索引来提高大数据的查询速度.     

基于维层次性的Data Cube存储优化方法

根据Data Cube模式中维的层次性,提出了层次式B^＋树及维层次编码的概念,并应用于层次树形Cube（HT Cube）方法中．HT Cube将维划分为聚集维与分析维,在分析维上利用层次式B^＋树除去了冗余数据,并在查询过程中形成维层次编码,在聚集维上则利用维层次编码组合而成的分析维编码进行索引,从而可以高效地检索到聚集值．理论分析和实验证明,该方法不但节省了存储空间,而且可利用层次信息高效地进行各种OLAP查询,为Data Cube模式更新、OLAP查询导航和OLAP查询行为分析的实现提供了可能．     

稀疏数据立方的一种快速计算方法

提出了一种新的稀疏数据立方计算方法CFD(Computation by Functional Dependencies),它采用自底向上的顺序划分数据立方的各个维,同时按自顶向下的顺序计算聚集,从而充分利用了数据立方的各个group-by之间的共性。CFD和以前所有的立方计算方法不同:一是既能避免计算冰山数据立方中不满足最小支持度的grorp-by,同时也利用了聚集函数的特征来加速聚集计算;二是利用维之间的依赖关系能有效减少划分时间。实验表明,和以前的算法相比CFD的性能明显提高。     

恰有7个部分的n-分拆的计数

设n是正整数,n-分拆是指将n表为一个或多个正整数的和的形式. 两个和式若仅有加数顺序的差异则视为相同的分拆. 称和式中的每个加数为这个n-分拆的一个部分.以Pr(n)表示部分数为r的n-分拆的个数.该文研究了部分数为7的n-分拆, 得到了P7(n)的简易计算公式.     

一种数据立方高效索引机制 --CuboidTree

提出了一种高效的数据立方高效索引机制CuboidTree，利用Z-Order编码以保持同一数据小方内立方元组之间的多维空间邻近性，将数据立方查询归结构为针为其中某个特定数据小方的查询，从而将同一数据小方中的立方元组聚簇在一起以加速响应数据立方查询，对模拟数据和真实数据进行的实验表明，CuboidTree不仅可以明显地提高数据立方范围查询的性能，而且节省了存储空间，更重要的是它对数据立方查询性能的改进效果随着数据立方维数的增加而愈加明显。     

基于主题划分的搜索策略设计与研究

在P2P网络结构中,提出一种基于主题划分的搜索策略(TONS),该策略基于主题将网络中的节点层次化、形成叠加网络.具体查询算法包括基于DHT的非结构化P2P网络和基于主题划分的叠加网络搜索索引结构.实验结果表明:包含相似主题的节点联系在一起,这样就能够确保将搜索局限在仅与查询主题相关的节点子集中.该策略为基于分布式哈希表的P2P系统提供了一种可满足复杂查询条件、部分匹配搜索数据要求的有效途径.     

基于数据段优先级分区重装策略

提出一种基于数据段优先级分区重装策略PRS-DSP,其考虑数据特征及与之相关的事务特点,根据数据段优先级对数据库进行分区,并为每个分区设置相应重装频率,故障恢复时按照数据分区的重装频率来分区重装数据库,系统恢复服务后,根据新事务对数据的请求及数据分区重装频率来设置剩余分区的重装优先级。模拟实验结果表明,该分区重装策略降低了系统事务超截止期比率,其重装性能明显优于完全重装策略。     

基于OLAP查询的数据集市系统的研究

研究了通过对数据仓库视图进行水平分割来建立数据集市系统，提高OLAP查询效率的方法和技术。提出了根据OLAP查询中的选择谓词构造其最小项谓词，选择数据仓库立方体视图进行水平分割，利用视图分割后的裂片建立的数据集市来回答查询，达到减少访问的视图元组数和加快查询响应时间，从而提高OLAP查询效率，削减维护费用。     

聚类金字塔树：一种新的高维空间数据索引方法

提出了一种新的有效的高维空间数据索引方法-聚类金字塔树,它先对不均匀分布数据进行聚类处理,然后对聚类的结果实施金字塔分割和存储,由此建立一种有效的索引结构。文中给出聚类金字塔树的几种查询算法。实验证明：处理不均匀分布数据时,聚类金字塔树无论在页面访问次数,还是在CPU总占时间上都优于金字塔树。     

青海省公路桥涵水文分区技术探讨

青海省内缺少公路桥涵水文分区图,给公路桥涵建设带来不便。为取得具体明确的分区范围图,在深入研究省内河川径流特征和水文站分布的基础上,按照二级分区原则,以水系流域等定性指标进行一级分区,对黄河上游区、湟水大通河区进行模糊聚类分析研究,对水文站布置偏少的玉树区、柴达木区、青海湖区、祁连山区进行定性论证,将全省原有的6个分区,重新划分为7个产流区和1个非产流区,并得到具体的二级分区图。经新、旧分区公式的误差对比计算,新分区计算精度高于旧分区,可以指导全省公路桥涵建设。