分布式网络中 CKNN 查询的 BORA 优化汇聚

针对时空数据库中,移动对象轨迹的连续K近邻查询(continuous K nearest neighbor query,CKNN)的查询效率较低的问题,以及在分布式的移动对象数据库(moving objects databases,MOD)环境下,提升对应查询结果的数据汇聚效率问题进行了研究.在CKNN查询中,设计优化了查询海滩线的更新算法,通过在轨迹数据结构中增加更新标志位,减少了轨迹线段参与的判定运算;同时在假设的类网格覆盖的分布式空间环境下,利用基于Bresenham覆盖的路由汇聚(Bresenham-based overlay for routing and aggregation,BORA)方法,进行查询结果的汇聚;并针对不同近邻参数、轨迹数目、移动对象速度、汇聚方式等对查询时间的影响进行了仿真实验;仿真结果表明,不同参数数值的增加延长了处理时间,基于BORA的汇聚方式比一般的汇聚方式节省了更多的处理时间,提高了系统查询及处理的效率.     

基于分布式平台Spark的空间文本查询分析

随着基于位置服务应用的不断推广,空间文本数据查询的应用价值(例如结合地理位置和用户标签的社交推荐)也在不断提高.但是,随着数据规模的迅速增长,传统的基于单机环境实现的技术难以为用户提供低延时和高吞吐量的服务.为此,本文基于Spark平台对分布式环境下的空间文本查询算法进行了探究.采用了面向海量空间文本数据的两层索引框架(包括全局索引和局部索引),该框架利用了分阶段过滤的策略来处理分布式下的布尔范围查询问题.同时,针对空间文本相似连接提出了Prefix-RI结构并提出了相应的分布式算法.基于Spark平台实现了所提出的分布式算法,并通过大量的实验对比验证了所提出方法的优越性.     

基于三维网格-R树的混合索引方法研究

针对三维场景下空间数据分布不均匀呈现区域密集的问题,本文提出并建立了三维网格-R树混合索引结构,在此基础上给出详细的维护与查询算法。该混合索引结构综合了网格快速划分三维空间以及R树高效查询的优点,较好地解决了海量非均匀分布的三维数据的快速管理、查询问题。最后针对上述混合索引结构模型构建了实验系统,对不同大小、不同分布下的数据集进行范围查询、k近邻查询对比测试,实验结果均表明了该混合索引结构在查询方面的良好性能。     

基于动态分布式聚类算法的大数据查询处理方法

针对现有大数据空间查询处理方法存在执行时间长和查询结果不够准确的问题,提出一种基于动态分布式聚类算法的大数据查询处理方法,该方法分为数据预处理、数据聚类和查询处理3个部分.首先将输入数据划分为多个子集,以RRD格式存储在一组机器节点中;其次采用划分和层次混合动态聚类算法,在Apache Spark平台上对数据进行分布式聚类;最后通过K近邻查询方式获得高精度和高效率查询结果.实验结果表明,本文提出的方法具有可扩展性,可为空间查询处理提供高质量的结果,比其他查询方法更具优势.     

基于数据广播的空间关键字查询处理

为了解决无线广播环境下空间关键字查询的问题,研究广播环境下空间关键字k近邻查询处理(BkSKQ),设计了一种结合kd树、倒排位图和(1,m)索引机制的空间关键字索引(ISKW)结构,以有效地组织对象的关键字信息、位置信息以及索引信息.该索引结构为客户的查询处理提供有效的指导,使得他们尽可能只下载查询处理所必须的数据信息.在ISKW索引结构的基础上,提出了BkSKQ查询处理算法.最后,通过模拟实验验证了提出的索引结构和算法的性能,实验结果表明所提出方法在访问时间和调谐时间上明显优于基于IR树的方法(BIRM).     

空间k近邻查询的新策略

有效执行空间k近邻查询是地理信息系统尤其关心的问题,空间近邻查询是基于空间索引的树的遍历过程,苦测量距离和剪枝策略选取适当,可以极大地减少搜索空间所需访问的事点数,基于Rousspoulos等提出的测量距离,提出2个新的近邻搜索剪枝策略,用于空间k近邻查询,给出了搜索算法,并用算例表明该策略具有更好的剪枝效果,提高了空间k近邻查询的效率。     

基于样点拓扑近邻的散乱点云曲面拓扑重建

提出一种基于样点拓扑近邻的散乱点云曲面拓扑重建算法,对点云数据构建动态空间索引结构,采用动态扩展空心球算法查询样点k近邻,通过对样点的k近邻数据进行偏心扩展和自适应扩展获取样点的拓扑近邻参考数据,从中查询样点的拓扑近邻,从样点的同层拓扑近邻中获取符合Delaunay条件的匹配点,生成局部Delaunay三角网格,并通过增量扩展实现整个散乱点云的曲面拓扑重建.实例证明,该算法可对无隙、有边界等任意模型的散乱点云进行合理的曲面拓扑重建,有效解决了r-dense恰当采样点云中非均匀区域易产生非工艺孔洞的问题.     

移动时空数据库中一些技术的探讨

本文对移动实时数据库系统中的一些关键问题：路网下的最近邻动态查询、易错无线数据广播下分布式空间索引查询的创建、无线广播下连续近邻查询、移动数据库同步技术、数据复制和缓存、位置相关查询、数据广播、故障恢复等进行了相关的探讨．     

基于Spark/Shark的电力用采大数据OLAP分析系统

用电信息大数据上的OLAP查询涉及数据量大,具有多表连接操作频繁、SQL结构复杂等特点,传统关系型数据库面对该类应用,表现出可扩展性弱、数据写入吞吐量低与查询效率低等问题.为此设计了一套基于Spark/Shark的电力大数据OLAP分析系统,该系统采用分布式文件系统HDFS保存电力用电信息采集系统的大数据,通过Shark进行前端SQL解析,Spark进行查询计算;然而,原生Shark只支持粗粒度分区,不支持细粒度的索引技术,难以高效地过滤无关数据,影响了查询性能.为克服这一不足,该系统设计了一种基于前缀树的细粒度索引结构TrieIndex,并通过数据重组技术优化了数据在HDFS的分布,提升了Shark的数据过滤能力以及用电信息大数据OLAP分析的性能.真实用电信息采集系统数据与查询的实验结果表明,该系统比关系型数据库的写入速度提升了12倍,比原生Shark的查询效率提升了10倍以上.     

基于相似用户索引和ALS矩阵分解的推荐算法研究

针对交替最小二乘法(ALS)在处理大数据集时所面临的处理速度和计算资源问题,提出了基于相似用户索引的分布式矩阵分解推荐算法。首先算法基于用户的评分行为找到用户之间的最近邻,然后使用Spark平台运行提出的算法,并产生推荐。在GroupLens网站上提供的MovieLens数据集上进行仿真实验,实验结果表明,提出的算法能够有效解决ALS对于大数据集运行效率低及在云环境中可扩展性较差的问题。     

P2P环境下面向不确定数据的kNN查询方法

由于仪器的不精确和网络延时等原因,在传感器网络和P2P系统中数据都存在不确定性.为解决此问题,基于现有的集中式的不确定数据的kNN查询方法,提出了一种在P2P环境中对不确定数据的kNN查询方法.该方法在super-peer的网络拓扑结构的基础上,以一种扩展的R树(P2PR-tree)作为此查询算法的空间索引结构,解决P2P环境中对多维数据的索引.并且结合两种剪枝策略减小了候选集的范围和减少了查询在P2P网络中的网络代价.实验结果表明,该方法在减少网络代价方面具有较高的性能.     

移动查询点的最近邻查询方法研究

移动查询点的最近邻查询在时空数据库查询的领域具有很重要的地位。本文提出了一个以处理动态环境下的K个最近邻居(K-NN)查询问题的有效的方法。     

聚类金字塔树：一种新的高维空间数据索引方法

提出了一种新的有效的高维空间数据索引方法-聚类金字塔树,它先对不均匀分布数据进行聚类处理,然后对聚类的结果实施金字塔分割和存储,由此建立一种有效的索引结构。文中给出聚类金字塔树的几种查询算法。实验证明：处理不均匀分布数据时,聚类金字塔树无论在页面访问次数,还是在CPU总占时间上都优于金字塔树。     

面向组近邻的Top-k空间偏好查询

空间偏好查询是当前空间查询研究中的一类热点问题,而现有的空间偏好查询不能有效支持面向组用户的位置服务应用.为此,提出一类新型空间偏好查询——面向组近邻的Top-k空间偏好查询(Topk spatial preference query for group nearest neighbor).该查询通过查找特征对象的λ子集组近邻最终为用户返回评分值最高的前k个λ子集.为了高效执行这一查询,给出了两种查询算法:TSPQ-G及TSPQ-G*.其中TSPQ-G*在TSPQ-G的基础上,通过空间剪枝及高效的特征对象索引树遍历策略大幅减少I/O代价,进而有效提高了该查询的执行效率.实验采用多个数据集验证了所提算法在不同参数设置下的有效性.     

不同维数下空间对象的反最近邻查询

反最近邻查询是在最近邻查询基础上提出的一种新的查询类型,是空间数据库的应用拓展,在不同维数下,根据不同的索引结构,反映出空间对象的反最近邻查询差异性较大,从不同索引结构的特性出发,分析了低维环境下基于R*-树的反最近邻查询优势,提出高维环境下一种新的基于SRdnn-树索引结构的空间对象反最近查询方法,优化了不同维数下空间对象的反最近查询性能,提高了查询效率.     

基于HBase的分布式空间数据库技术

针对在大型地理信息系统(GIS)中, 需要对海量矢量据和栅格数据进行存储并对高并发的用户查询请求提供高效响应, 传统的设计方案难以满足需求的问题, 提出一种使用基于内存存储的分布式数据库HBase存储空间数据, 并设计基于GeoHash的分布式空间索引, 实现了矢量空间数据与栅格空间数据的分布式存储与快速查询. 实验表明, 该方法提升了海量空间数据的查询速度.     

空间多样化约束下的移动k近邻查询

考虑为移动中的查询对象连续返回k个距离近并且满足空间多样化约束的对象，提出了空间多样化约束下的移动k近邻(SDC-MkNN)查询.在此，满足空间多样化约束代表对象之间的相互距离大于距离阈值.为了高效处理SDC-MkNN查询问题，提出了两种基于安全区域技术的算法.算法均通过减少重新计算查询结果的次数来提高查询效率.其中一种为精确算法EA，可连续返回精确的查询结果；另一种为近似算法ρAA，可连续返回具有近似率保障的近似查询结果.采用真实数据集验证了所提出算法的有效性.     

基于RBF网络的机械手迭代学习控制器

针对迭代学习控制用于机械手轨迹跟踪时存在的收敛速度慢的问题,提出了一种基于RBF网络的迭代学习控制器,利用先前跟踪不同期望轨迹所得的经验构造新的初始控制量以加快收敛速度.将给定的期望跟踪轨迹分解成多个查询点,然后用RBF网络对每个查询点周围最邻近的k个数据点进行拟合以建立系统的逆动力学特性估计,进而预测相应于查询点的初始控制输入.为验证所提方法的有效性,对一平面双连杆机械手进行了仿真研究.     

约束的移动对象最近邻轨迹查询

提出了一种新的查询概念,即约束的移动对象最近邻轨迹(constrained nearest neighbor search on moving objects trajectories,简称CNNMOT)查询.针对两阶段算法分阶段处理最近邻查询和范围查询的缺陷,对传统空间最近邻算法进行了改进和扩展,使其能够合并到一步完成,并对传统的mindist定义进行了修改.实验结果表明:该改进算法能较好地克服两阶段算法的缺陷,并在数据量较大时仍保持较高的性能.