基于Alluxio的新闻文本存储优化方法

新闻数据的指数级增长对新闻的高效存储和管理提出了重大挑战。为解决存储与计算分离模式下新闻文本的存储与读访问瓶颈问题，提出了一种基于数据编排平台Alluxio的新闻文本存储优化方法。首先，利用Alluxio对不同存储系统中的新闻文本进行缓存并提供统一命名空间，加速了计算应用的数据访问。其次，为了解决新闻文本存储在远程场景下所面临的读访问性能瓶颈问题，对新闻文本进行了基于目录聚合的合并，并利用最小完美哈希算法对新闻文本元数据构建索引，实现了新闻文本的快速检索。