| SDD 1改进算法在Hive中应用 |
| |
| 引用本文： | 王宝进,吴淑跃,薛娟.SDD 1改进算法在Hive中应用[J].湘潭大学自然科学学报,2014(4):77-82. |
| |
| 作者姓名： | 王宝进 吴淑跃 薛娟 |
| |
| 作者单位： | 江苏大学计算机科学与通讯工程学院;江苏省交通技师学院电气与信息工程系 |
| |
| 基金项目： | 国家自然科学基金项目(61072002) |
| |
| 摘 要： | 针对Hive在处理连接查询时所存在的执行时间长和带宽资源消耗大等问题,提出了一种基于数据预处理和双半连接的SDD-1改进算法.首先,引入预处理技术,在各分布节点对原始数据进行归并排序,以减少汇聚节点的数据映射次数,加快数据处理执行速度;其次,采用基于行和列的双半连接技术,进一步缩减在不同节点间的数据传输量,减少带宽资源消耗.仿真实验表明,相比原始的Hive连接算法,改进算法在元组数达到5 000和8 000时,可使查询速度提升10%,有效缩短查询的处理和响应时间,该改进算法可方便地应用到其他云计算平台上.
|
| 关 键 词： | 数据预处理 双半连接 SDD-1改进算法 |
| 本文献已被 CNKI 等数据库收录！ |
| 点击此处可从《湘潭大学自然科学学报》浏览原始摘要信息 |
| 点击此处可从《湘潭大学自然科学学报》下载免费的PDF全文 |
|
