|
|||||
|
|
| 基于HDFS的海量指纹数据云存储优化研究 | |
| 引用本文： | 张宇翔,赵建民,朱信忠,徐慧英.基于HDFS的海量指纹数据云存储优化研究[J].浙江师范大学学报(自然科学版),2015(2):179-184. |
| 作者姓名： | 张宇翔 赵建民 朱信忠 徐慧英 |
| 作者单位： | 浙江师范大学数理与信息工程学院 |
| 基金项目： | 国家自然科学基金资助项目(6127268) |
| 摘 要： | HDFS设计之初只考虑到如何更好地处理大文件,并没有针对海量小文件进行优化,因此,当使用HDFS管理海量指纹数据小文件时会出现Name Node内存负载过重、上传及查询性能过低等问题.采用Sequence File序列化技术进行小文件的合并,并且对于小文件合并、元数据存储、缓存策略等进行了针对性优化.实验证明,该优化方案可以有效地解决Name Node内存负载过重的问题,并且海量指纹数据小文件的上传和查询性能得到了提高. |
| 关 键 词： | HDFS 小文件 Sequence File 文件合并 元数据存储 缓存策略 |
| 本文献已被 CNKI 等数据库收录！ | |