|
|||||
|
|
| 基于分布式平台Spark的空间文本查询分析 | |
| 引用本文： | 徐阳,王志杰,钱诗友.基于分布式平台Spark的空间文本查询分析[J].华东师范大学学报(自然科学版),2018(5). |
| 作者姓名： | 徐阳 王志杰 钱诗友 |
| 作者单位： | 上海交通大学计算机科学与工程系;中山大学数据科学与计算机学院 |
| 摘 要： | 随着基于位置服务应用的不断推广,空间文本数据查询的应用价值(例如结合地理位置和用户标签的社交推荐)也在不断提高.但是,随着数据规模的迅速增长,传统的基于单机环境实现的技术难以为用户提供低延时和高吞吐量的服务.为此,本文基于Spark平台对分布式环境下的空间文本查询算法进行了探究.采用了面向海量空间文本数据的两层索引框架(包括全局索引和局部索引),该框架利用了分阶段过滤的策略来处理分布式下的布尔范围查询问题.同时,针对空间文本相似连接提出了Prefix-RI结构并提出了相应的分布式算法.基于Spark平台实现了所提出的分布式算法,并通过大量的实验对比验证了所提出方法的优越性. |
| 本文献已被 CNKI 等数据库收录！ | |