基于Hadoop的SQL查询引擎性能研究

Apache Hadoop处理超大规模数据集有非常出色的表现,相比较于传统的数据仓库和关系型数据库有不少优势.为了让原有业务能够充分利用Hadoop的优势,SQL－on－Hadoop系统越来越受到工业界和学术界的关注.基于Hadoop的SQL查询引擎种类繁多,各有优势,其运算引擎主要包括三种：①传统的Map/Reduce引擎;②新兴的Spark引擎;③基于shared－nothing架构的MPP引擎.本文选取了其中最有代表性的三种SQL查询引擎—Hive、Spark SQL、Impala,并使用了一种类TPC－H的测试基准对它们的决策支持能力进行测试及评估.从实验结果来看,Impala和Spark SQL相对于传统的Hive都有较大的提高,其中Impala的部分查询比Hive快了10倍以上,并且Impala在完成查询所占用的集群资源也是最少的.然而若从稳定性、易用性、兼容性和性能等多个方面进行对比,并不存在各方面均最优的查询引擎,因此在构建基于Hadoop的数据仓库系统时,推荐采用Hive＋Impala或者Hive＋Spark SQL的混合架构.     

基于Spark/Shark的电力用采大数据OLAP分析系统

用电信息大数据上的OLAP查询涉及数据量大,具有多表连接操作频繁、SQL结构复杂等特点,传统关系型数据库面对该类应用,表现出可扩展性弱、数据写入吞吐量低与查询效率低等问题.为此设计了一套基于Spark/Shark的电力大数据OLAP分析系统,该系统采用分布式文件系统HDFS保存电力用电信息采集系统的大数据,通过Shark进行前端SQL解析,Spark进行查询计算;然而,原生Shark只支持粗粒度分区,不支持细粒度的索引技术,难以高效地过滤无关数据,影响了查询性能.为克服这一不足,该系统设计了一种基于前缀树的细粒度索引结构TrieIndex,并通过数据重组技术优化了数据在HDFS的分布,提升了Shark的数据过滤能力以及用电信息大数据OLAP分析的性能.真实用电信息采集系统数据与查询的实验结果表明,该系统比关系型数据库的写入速度提升了12倍,比原生Shark的查询效率提升了10倍以上.     

一种基于R树空间索引技术的GIS数据索引方法

地理信息数据库的查询效率作为GIS系统效率的关键,传统的查询和索引技术不能有效地实现地理信息数据库的高速查找和信息提取.提出了GIS中高效信息查询和提取的一种优化方法——一种基于R 树的空间索引技术的方法,介绍通过该方法建立记录地图信息的shape文件对应的索引文件的基本思路和方法并提出了基于此方法的GIS最邻近查询算法. 通过实验表明,该方法能有效提高GIS系统的响应速度和数据提取效率.     

一种面向对象的Java Bean查询方法的实现

为了克服在Java Bean方法中编写许多SQL语句实现数据查询的缺点，通过查询条件进行了对象化的封装，提出了一种针对Java Bean的面向对象的查询方法．通过设置查询条件对象，使用文中所提出的查询方法能方便地实现不同条件的数据查询，可以有效地提高系统的开发效率．     

基于MapRedue的大规模矢量空间数据选择查询处理

为高效地处理大规模矢量空间数据,基于Hadoop的并行计算框架MapRedue,实现了一种分布式的矢量空间数据选择查询处理方法.首先,分析OGC简单要素标准与Hadoop的Key/Value数据模型,设计了可存储于Hadoop HDFS的矢量文件格式;其次,根据两阶段的过滤-精炼策略,对Map输入数据分片、选择查询处理过程及Reduce结果合并等关键步骤进行了详细阐述;最后,基于上述技术,利用Hadoop集群环境对所提出的方法进行验证,该方法具有较好的可行性和较高的效率.     

基于MySQL的高可靠性缓存DNS系统的设计与实现

为提高DNS服务的响应时间,在分析DNS查询日志的基础上,提出了基于My SQL数据库的高可靠性缓存DNS系统,设计了该系统的框架结构,并在bind源代码的基础上使用C语言实现了该系统。通过大量域名对该系统进行压力测试表明,将DNS缓存存储于My SQL数据库相比传统DNS系统,在RTT max、RTT min、RTT average、Ran for、查询命中率和查询请求等方面都具有突出的性能,可大大改善DNS服务的响应时间。     

关于MicroSQL查询等价的若干定理及查询变换优化策略

Micro SQL是微机关系数据库管理系统NITDB采用的数据语言。为了进行查询优化,本文对Kim W.的思想加以推广,从理论上提出了若干关于Micro SQL查询的等价定理,并把一些结果运用到NITDB中,从而为NITDB提供了一种查询变换优化措施,提高了查询效率。     

SQL Server 2005查询XML数据优化研究

SQL Server 2005关系数据库管理系统提供了强大的管理XML数据的功能,但它采用传统的通过建立索引等方式进行查询效果并不理想.分析了SQL Server 2005在查询XML数据过程中低效的原因,提出了通过建立附加表或者附加列以及相应索引、利用查询窗口等措施来优化查询.实验结果表明,该方法能有效提高查询XML数据的效率.     

基于索引的关系数据库查询优化

查询优化是提高数据库性能的关键技术之一.在分析SQL Server关系数据库系统自动查询优化技术的基础上,介绍了索引的类型和使用原则,并结合实例讨论了SQL语句中使用索引进行查询优化的多种有效方法,有助于提高数据库的查询效率.     

基于模糊聚类的物流数据字典动态分级方法

为提高物流管理信息系统查询效率,根据物流数据库管理系统查询调用数据属性字典的统计信息,提出一种优化属性字典分级的动态方法.描述了该方法的实现并进行了查询效率分析.该方法基于模糊聚类原理,在属性字典表中添加聚类属性项;将数据繁多的属性字典表按其在选定时间内的属性统计值进行动态归类分级.系统运行实践表明,该方法提高查询效率最高达31.9%,平均达19.3%.