| Spark数据倾斜问题研究 |
| |
| 引用本文： | 张占峰,王文礼,耿珊珊,贾芝婷.Spark数据倾斜问题研究[J].河北省科学院学报,2020,37(1):1-7. |
| |
| 作者姓名： | 张占峰 王文礼 耿珊珊 贾芝婷 |
| |
| 作者单位： | 河北经贸大学信息技术学院,河北石家庄050061,河北经贸大学信息技术学院,河北石家庄050061,河北经贸大学信息技术学院,河北石家庄050061,河北经贸大学信息技术学院,河北石家庄050061 |
| |
| 基金项目： | 2019年度河北省研究生创新资助项目 |
| |
| 摘 要： | 当今人类已经进入大数据时代,海量数据处理已成为大数据技术领域的研究热点。Spark是一种典型的基于内存的分布式大数据处理框架,但在Spark的实际应用中出现的数据倾斜问题会对计算效率产生重要影响。本文针对于Spark在各类应用中出现的数据倾斜问题,梳理国内外相关研究进展,对在出现数据倾斜问题后常用的优化方法进行了分析对比,最后对未来的研究方向进行了展望。
|
| 关 键 词： | 大数据 Spark 数据倾斜 数据处理 |
Research on data skew of Spark |
| |
| ZHANG Zhan-feng,WANG Wen-li,GENG Shan-shan,JIA Zhi-ting.Research on data skew of Spark[J].Journal of The Hebei Academy of Sciences,2020,37(1):1-7. |
| |
| Authors: | ZHANG Zhan-feng WANG Wen-li GENG Shan-shan JIA Zhi-ting |
| |
| Abstract: | |
| |
| Keywords: | |
| 本文献已被 CNKI 万方数据 等数据库收录！ |
|
