一种基于SSD的高性能Hadoop系统的设计与应用

Hadoop已经成为大数据平台的事实标准,当用户要求它成为全栈平台时,MapReduce为批处理而设计的局限日益显现。文中将SSD引入大数据的内存缓存存储解决方案,阐述了SSD和HDD的混合存储架构;同时,结合高效的计算模型Spark等优化技术,设计了一种基于SSD的高性能Hadoop系统,分别有效地解决大数据计算系统的性能问题和存储空间问题,实验性能评测显示取得了显著效果。