基于Hadoop的SQL查询引擎性能研究

Apache Hadoop处理超大规模数据集有非常出色的表现,相比较于传统的数据仓库和关系型数据库有不少优势.为了让原有业务能够充分利用Hadoop的优势,SQL－on－Hadoop系统越来越受到工业界和学术界的关注.基于Hadoop的SQL查询引擎种类繁多,各有优势,其运算引擎主要包括三种：①传统的Map/Reduce引擎;②新兴的Spark引擎;③基于shared－nothing架构的MPP引擎.本文选取了其中最有代表性的三种SQL查询引擎—Hive、Spark SQL、Impala,并使用了一种类TPC－H的测试基准对它们的决策支持能力进行测试及评估.从实验结果来看,Impala和Spark SQL相对于传统的Hive都有较大的提高,其中Impala的部分查询比Hive快了10倍以上,并且Impala在完成查询所占用的集群资源也是最少的.然而若从稳定性、易用性、兼容性和性能等多个方面进行对比,并不存在各方面均最优的查询引擎,因此在构建基于Hadoop的数据仓库系统时,推荐采用Hive＋Impala或者Hive＋Spark SQL的混合架构.     

云环境下基于MapReduce的海量服务选择研究

当处理分布式、大规模的服务选择时,传统服务选择方法存在着效率不高和全局Qo S性能低下的问题。基于Map Reduce框架,设计了一种云环境下的海量服务选择方法以解决此问题。首先,基于Map Reduce框架,利用Skyline算法,筛选海量候选服务,生成Skyline服务库;其次,基于迭代式Map Reduce框架,运用多目标模拟退火算法,从所生成的Skyline服务库中优选Skyline服务,产生一组Pareto最优的组合服务;最后,依据用户的个性化和多样性需求,执行Top-k查询,优选出满足用户偏好的k个组合服务。该方法适应于具有分布式环境、高维Qo S的海量服务选择,能快速返回组合服务,且其全局Qo S较优。     

基于MapRedue的大规模矢量空间数据选择查询处理

为高效地处理大规模矢量空间数据,基于Hadoop的并行计算框架MapRedue,实现了一种分布式的矢量空间数据选择查询处理方法.首先,分析OGC简单要素标准与Hadoop的Key/Value数据模型,设计了可存储于Hadoop HDFS的矢量文件格式;其次,根据两阶段的过滤-精炼策略,对Map输入数据分片、选择查询处理过程及Reduce结果合并等关键步骤进行了详细阐述;最后,基于上述技术,利用Hadoop集群环境对所提出的方法进行验证,该方法具有较好的可行性和较高的效率.     

一种基于MapReduce的关联规则挖掘算法

本文从减少I/O时间的角度出发,结合云计算Hadoop平台的Map Reduce模型,提出了一种基于Map Reduce的关联规则挖掘算法.算法采用幂集计算候选项集,采用Map Reduce模型在多个节点上并行找出所有频繁项集,只需要扫描事务数据库1次.实验结果表明：在事务的平均项长较小的情况下,算法具有很好的加速比和数据规模增长性.     

电信大数据管理应用技术研究

目前针对电信大数据管理应用技术的研究方法与手段众多,但目前主要集中在Hadoop架构的数据存储及应用开发上,采用Hadoop对于电信大数据的应用主要包括存储系统(HDFS)、计算系统(Map Reduce)和HBase。该框架的实现为我国高效合理的电信大数据管理提供了一种解决问题的新思路。     

存储子系统调优方法研究

数据库性能调优不仅是技术更是艺术,在存储子系统方面现有的调优方法在效率上难以满足系统性能要求.提出自调优方法,并指出目前自调优技术存在的问题及解决的办法.     

Hadoop平台下MapReduce模型的数据分配策略研究

针对Hadoop开源云计算平台下MapReduce并行编程模型中间数据分配不均衡的问题,提出基于抽样的改进型MapReduce模型,即SMR(Sample MapReduce)模型.SMR模型采用MapReduce作业方式对各分块数据集进行并行抽样,基于抽样结果,利用LAB(leen and balance)均衡算法对Map端输出的中间数据进行均衡分配,以改善Reduce端处理数据负载不均衡问题.实验结果表明:改进型MapReduce模型可以有效减少作业运行时间,Reduce端输入数据达到负载均衡.     

动态在线Map/Reduce流数据处理模型及作业拓扑管理协议

针对海量流数据的在线处理需求,提出一种不同于传统Map/Reduce流数据处理的系统模型Flexible workflow.该模型对workflow处理单元进行在线Map/Reduce并行化,实现了SPATE系统;同时为该系统定义一组关于作业的建立、管理和维护的通信规程,即拓扑管理协议.SPATE系统解决了在线Map/Reduce流数据处理过程中要求实时性及可扩展性的问题.实验验证了拓扑管理协议的有效性,拓扑管理协议能有效管理Flexible workflow流数据处理模型.     

数据库系统性能调优的研究与实践

文章从影响数据库系统性能的主要因素开始讨论,列举了数据库事务处理、索引、表结构、应用系统接口四个常见的对数据库系统性能产生影响的因素,并针对这些因素分析了系统性能不佳的具体原因,结合甘肃烟草商业电子商务系统调优实践,从创建索引、优化查询、清理临时表、避免表死锁、分离数据库、设置应用系统日志六个方面,引用实际案例,对数据库系统性能调优的基本方法进行了论述。本文希望能够为从事数据库系统管理工作的人员提供有益的经验和参考。     

基于Hive的海量公交客流起讫点挖掘方法

目前起讫点(origin-destination,OD)挖掘方法普遍存在无法并行分析多条线路、低效率、预测率不足的问题。考虑到Hive在海量数据上的查询性能优势,基于Hive实现了OD挖掘,克服了上述问题。基于时间阈值匹配上车站点,失配记录基于站点上客数再次匹配。基于表连接的出行链算法预测下车站点,预测失败的记录基于概率进行两次预测。以石家庄2018年1月1日—2018年3月27日的IC卡刷卡数据和调度数据进行OD挖掘,在清洗后的11 312 505条出行记录中挖掘出11 270 037条OD记录,预测率达到99.6%,出行与吸引校验质量较高,Hive并行调优开启后耗时17 829.04 s。可见该方法满足生产环境中离线挖掘OD的业务需求。     

基于承载力预压装配式框架结构的鲁棒性

结构鲁棒性是指建筑结构承受局部损伤和防止结构发生连续倒塌的能力。为揭示预压装配式框架结构鲁棒性优劣,利用SAP2000软件考虑节点半刚性建立预压装配式框架结构（Prestressed Concrete Structure, PC结构）及现浇结构（Reinforce Concrete Structure, RC结构）模型,基于抽柱法模拟四种工况：角柱、长边中柱、短边中柱和框架中柱失效,采用非线性静力分析方法,从承载力变化情况及抗倒塌机制等方面对比不同失效位置工况下PC结构和RC结构抗竖向连续倒塌的性能,以此研究PC结构的鲁棒性。结果表明：PC结构和RC结构倒塌模式相似：角柱、长边中柱均为梁机制,而短边中柱、框架中柱均为悬链线机制;PC结构各工况倒塌时的竖向位移均大于RC结构,延性更好;受其节点连接刚度的影响,PC结构鲁棒性系数（3.197）略小于RC结构（3.257）,因此通过增强PC结构节点连接的刚度,可改善结构构件的鲁棒性。     

变截面平缀管式钢管混凝土格构柱的抗震性能

应用OpenSEES通用程序建立变截面平缀管式钢管混凝土格构柱有限元模型,试件的分析结果与拟静力试验结果吻合良好。以柱肢坡度为计算参数,对四肢变截面平缀管式钢管混凝土格构柱开展抗震性能研究,探讨了构件的耗能能力、骨架曲线、结构延性、刚度退化等方面的受力性能和规律,并与等截面钢管混凝土格构柱进行对比研究。在此基础上进一步分析了轴压比、试件高度(长细比)、平缀管竖向间距、柱肢含钢率、支主管管径比、钢材屈服强度、混凝土强度等参数对变截面平缀管式钢管混凝土格构柱抗震性能的影响,为钢管混凝土计算理论的进一步完善和变截面钢管混凝土格构式桥墩的工程应用提供参考。     

基于MUSIC算法的圆柱共形阵DOA估计

柱面共形阵由于其载体曲率的影响,导致在利用经典MUSIC(Multiple Signal Classification)算法进行DOA(Direction-of-Arrival)估计时,导向矢量与噪声子空间不正交,算法性能严重下降甚至失效。在考虑载体遮挡效应的同时,结合阵元的方向性,通过对导向矢量进行重构,解决了导向矢量与噪声子空间不正交这一问题。对比子阵分割MUSIC算法,进行了Monte Carlo仿真验证,分析了有向阵元MUSIC算法的估计性能。最后以多层圆柱阵为例对4个从不同方向入射的信源进行了DOA估计仿真验证。仿真结果表明：该方法具有分辨力高,估计精度高的优点,证明了该方法的有效性和高估计性能。     

一种改进的无人工变量单纯形算法

对Arsham的算法作了重要改进以便使其运行得更好,目标使所有基人工变量之和最小。首先,对非基变量按其简约价值系数从大到小逐列向前搜寻,将满足条件的变量带入基变量集,当简约价值系数为非正时终止。然后,以目标当前值与最优值的均值作为临界值,应用经典单纯形算法求解,当目标值超过临界值时,重复上述过程,直至基变量集处于完全状态。在计算机上对24个标准测试问题进行初步数值试验,计算结果表明,本文提出的改进算法比经典单纯形算法所用的总迭代次数要少得多,在22个问题上耗费更少的计算时间,大大改进了Arsham算法的计算效率,比Gao的一种改进算法的计算性能更稳定,因而是有价值的。     

风电场储能系统的多目标优化调度策略

为了实现风电与储能联合运行的优化调度策略,首先综合考虑风电功率预测效果、并网功率波动和储能系统的出力水平等多个目标,建立风储联合运行的多目标优化仿真模型。然后运用马尔可夫模型预测风功率,同时基于有精英策略的非支配性排序遗传算法(non-dominated sorting genetic algorithm-Ⅱ,NSGA-Ⅱ)滚动优化风储并网功率,来获得风储系统不同运行策略。并通过优选储能系统运行参数,避免储能系统的过度充放电和进入死区。最后,将决策者的偏好嵌入到多目标优化过程中,针对优化解集的分布进行了对比分析,验证了偏好情况下的储能的针对性和有效性,实现了风储系统多目标偏好下的优化调度。     

氟碳材料的阳离子储能进展

相比于常规插嵌机理储能,氟碳材料的转化机理储能不受材料自身结构和空间的限制,因此其电化学储能性能更加优异,理论比容量大幅度提高,有巨大潜力替代以插嵌机理为主的材料成为下一代阳离子存储的主要材料之一。本文综述了近年来离子储能材料的背景和发展现状,归纳了氟碳材料用于碱金属阳离子储能的研究进展,汇总了氟碳材料的制备工艺,最后总结了氟碳材料作为电极材料的性能优缺点并提出了相关的改进方案,探讨了氟碳材料阳离子储能的可能发展方向。     

Banian: A Cross-Platform Interactive Query System for Structured Big Data

The rapid growth of structured data has presented new technological challenges in the research fields of big data and relational database. In this paper, we present an efficient system for managing and analyzing PB level structured data called Banian. Banian overcomes the storage structure limitation of relational database and effectively integrates interactive query with large-scale storage management. It provides a uniform query interface for cross-platform datasets and thus shows favorable compatibility and scalability. Banian's system architecture mainly includes three layers:(1) a storage layer using HDFS for the distributed storage of massive data;(2) a scheduling and execution layer employing the splitting and scheduling technology of parallel database; and(3)an application layer providing a cross-platform query interface and supporting standard SQL. We evaluate Banian using PB level Internet data and the TPC-H benchmark. The results show that when compared with Hive, Banian improves the query performance to a maximum of 30 times and achieves better scalability and concurrency.     

轴压套管构件的理论和试验分析及设计

针对轴压套管构件,分析了柔性套筒约束下内核的变形过程,提出了套管构件的设计公式、相关构造和内核的轴力-轴向位移非线性计算模型.理论与试验的对比研究表明：当内核与套筒的刚度比小于0.005时,内核可以由低阶屈曲模态变形到高阶屈曲模态;当内核与套筒的刚度比大于0.005时,内核将与套筒一起发生侧向失稳破坏.套筒较刚、内核长细比较小、内核-套筒净间隙较大,不利于显著提高内核的轴压承载力．内核外伸套筒部位是薄弱部位,为避免该部位的屈曲,需要减小该部位的长度,并对该薄弱部位予以加强.与传统圆钢管相比,套管构件中轴压内核的承载力有大幅度提高,同时内核的延性有较大改善.     

冷弯型钢夹支薄板剪力墙在竖向荷载作用下抗火性能分析

为了得到冷弯型钢夹支薄板剪力墙的抗火性能,利用有限元软件ABAQUS建立7个夹支薄板剪力墙模型,分析了火灾下剪力墙的温度分布、轴压比、冷弯型钢边柱厚度和竖向加劲肋对墙体抗火性能的影响。研究表明,受火2h时,内嵌钢板温度为墙体最高受火温度的80％,边柱与竖向加劲肋背火面帽形截面腹板处的温度为受火面相应位置温度的1/4。随着轴压比的增大,墙体在火灾下的破坏位置上移,并由整体屈曲向局部屈曲转变。边柱壁厚对墙体的破坏形态与耐火极限有较大影响,建议选取边柱壁厚不小于2.5mm;有加劲肋的墙体可以利用加劲肋平衡钢板;过早屈曲所导致的不均匀拉力,对墙体在遭受火灾时产生的破坏具有一定的延缓作用。墙体发生弯曲的方向与边柱的承载能力有关,墙体发生弯曲时,边柱帽形截面的帽檐首先发生较大屈曲变形,随后全截面发生屈服。