基于动态分布式聚类算法的大数据查询处理方法

针对现有大数据空间查询处理方法存在执行时间长和查询结果不够准确的问题,提出一种基于动态分布式聚类算法的大数据查询处理方法,该方法分为数据预处理、数据聚类和查询处理3个部分.首先将输入数据划分为多个子集,以RRD格式存储在一组机器节点中;其次采用划分和层次混合动态聚类算法,在Apache Spark平台上对数据进行分布式聚类;最后通过K近邻查询方式获得高精度和高效率查询结果.实验结果表明,本文提出的方法具有可扩展性,可为空间查询处理提供高质量的结果,比其他查询方法更具优势.     

PMkSK:一种空间关键字移动近邻查询并行处理方法

为了提高空间关键字移动k近邻查询处理效率,提出关键字影响集的概念,并设计了一种基于关键字影响集的空间关键字移动近邻查询并行处理方法.该方法包含一种并行查询算法和一种并行验证算法.首先,采用并行查询算法计算近邻结果;然后,确定查询区域,并在区域内查找包含的关键字影响集;最后,在查询者移动时不断通过并行验证算法验证影响集,以实现空间关键字移动近邻查询处理.实验结果表明:这2种算法的时间复杂度分别为O((log D+k)/k)和O(logk),均为现有对应算法的O(1/k),其中D为空间对象数目.在多核系统上,这2种算法的运行时间均比现有算法低一个数量级.基于影响集的并行查询处理方法避免了基于安全区域的移动k近邻查询处理方法中更新代价和更新频率难以同时取得最优的固有缺点,可以高效地处理关键字移动k近邻查询.     

基于聚类的逆向Skyline查询算法

逆向Skyline查询能够应用到诸如决策支持、用户偏好支持以及市场行为分析等方面。由于参考对象q的存在,在执行逆向Skyline查询的过程中数据空间被划分成许多分区。然而,存在的算法都没有考虑这个问题的影响,直接使用原始数据集建立索引结构。本文提出了一种新的逆向Skyline查询方法CRSQ,它考虑了这个问题。CRSQ首先根据查询对象q对数据进行聚类,然后建立R-tree索引,最后利用高效修剪策略修剪索引搜索空间。实验结果表明CRSQ算法是有效的,它相对于没有聚类技术的算法获得了50%以上的性能提高。     

空间多样化约束下的移动k近邻查询

考虑为移动中的查询对象连续返回k个距离近并且满足空间多样化约束的对象，提出了空间多样化约束下的移动k近邻(SDC-MkNN)查询.在此，满足空间多样化约束代表对象之间的相互距离大于距离阈值.为了高效处理SDC-MkNN查询问题，提出了两种基于安全区域技术的算法.算法均通过减少重新计算查询结果的次数来提高查询效率.其中一种为精确算法EA，可连续返回精确的查询结果；另一种为近似算法ρAA，可连续返回具有近似率保障的近似查询结果.采用真实数据集验证了所提出算法的有效性.     

空间k近邻查询的新策略

有效执行空间k近邻查询是地理信息系统尤其关心的问题,空间近邻查询是基于空间索引的树的遍历过程,苦测量距离和剪枝策略选取适当,可以极大地减少搜索空间所需访问的事点数,基于Rousspoulos等提出的测量距离,提出2个新的近邻搜索剪枝策略,用于空间k近邻查询,给出了搜索算法,并用算例表明该策略具有更好的剪枝效果,提高了空间k近邻查询的效率。     

基于用户偏好的最优路径搜索

本文研究基于用户偏好的最优路径搜索,在预算约束下寻找一条满足用户偏好即关键字和权重偏好的最优路径.此研究问题是NP-hard.为了高效地解决这类查询问题,本文提出新的索引建立方法,在查询阶段利用索引结构过滤出候选节点集.另外,提出基于A*的路径搜索算法来做路径查询,并利用几个有效的剪枝策略加快算法的执行速度.在两个真实的签到数据集上的实验结果证明了本文提出方法的有效性.当预算时间设置为4～7h时,与已有最好的PACER算法相比,本文的路径搜索算法消耗的查询时间更短.     

GRkNN:一种组反k近邻查询方法

针对传统查询方法在查询点有多个对象时,对每个查询点逐个执行查询导致运行时间较长的问题,提出一种组反k近邻查询(GRkNN)方法.该方法将多个查询点视为一个整体考虑,并采用剪枝和核实两阶段策略.实验表明,该方法能更有效地实现数据库更新操作,缩短了运行时间.     

基于近邻子空间划分的高光谱影像波段选择方法

在降低高光谱遥感影像数据的冗余度方面,波段选择一直是一种有效的方法.近年来,提出了许多用于高光谱波段选择的聚类算法,但大多数算法只有在选择足够多的聚类中心时才能够表现出良好的性能.在选择少量波段时,往往效果很不理想,不能满足实际使用的目的.而且,随着聚类中心数量的增加,大多数波段选择算法的精度存在不同程度的下降趋势.针对当前基于聚类的波段选择方法存在对聚类中心数的强敏感性和选择的特征波段子集高相关性的问题,提出了一种基于近邻子空间划分的波段选择方法(SEASP).该方法主要包括近邻子空间划分和特征波段选取两个步骤.考虑到高光谱波段之间的有序性,SEASP首先计算出相邻波段之间的相关系数,得到相关系数向量.若两个波段之间的相关性在某个区间内最小,即相关系数的变化率在该区间内最大,说明这两个波段在很大概率上不属于同一组,为两个相邻分组之间的分割点.因此,在相关系数向量的基础上,计算出其对应的若干个极小值,通过极小值的选取来确定最终划分的子空间.最后以信息熵为度量标准从划分的子空间中选出特征波段子集.在3个公开数据集的实验结果表明,提出的SEASP算法与其他算法相比,不仅原理简单,而且在精度...     

评估子集类区分能力的特征选择方法

为了克服Relief选择前k个特征作为约简子集所存在的原始特征空间中的近邻在约简后的特征子空间中不一定还是近邻的问题,提出了一种在特征子空间中评价候选特征子集类别区分能力的方法,并结合最好优先特征搜索策略提出了一种新的特征子集选取方法.在12个UCI(加州大学欧文分校)数据集和1个老年痴呆实测数据集上,就约减能力对所提方法与其他3种经典特征选择方法进行了比较,并用决策树、逻辑回归模型详细比较了分类效果.实验结果表明:所提方法不仅能够选出特征数目较少的特征子集,而且特征子集的分类效果良好.     

基于聚集块的多用户连续K最近邻多线程查询

当对城市道路网络中的对象进行查询时,已研究出连续的K近邻查询技术,但在一般情况下服务器会同时收到多个查询请求,为了提高查询效率,降低多查询代价,提出一种聚集块的共享查询算法并建立多用户连续查询处理框架,采用流水线处理策略,将查询分为查询预处理、查询执行及查询结果分发3个执行阶段,利用扩展树存储查询结果。实验结果表明,在目标点分布比较密集的情况下,本算法明显优于其它算法。     

不同维数下空间对象的反最近邻查询

反最近邻查询是在最近邻查询基础上提出的一种新的查询类型,是空间数据库的应用拓展,在不同维数下,根据不同的索引结构,反映出空间对象的反最近邻查询差异性较大,从不同索引结构的特性出发,分析了低维环境下基于R*-树的反最近邻查询优势,提出高维环境下一种新的基于SRdnn-树索引结构的空间对象反最近查询方法,优化了不同维数下空间对象的反最近查询性能,提高了查询效率.     

P2P环境下面向不确定数据的kNN查询方法

由于仪器的不精确和网络延时等原因,在传感器网络和P2P系统中数据都存在不确定性.为解决此问题,基于现有的集中式的不确定数据的kNN查询方法,提出了一种在P2P环境中对不确定数据的kNN查询方法.该方法在super-peer的网络拓扑结构的基础上,以一种扩展的R树(P2PR-tree)作为此查询算法的空间索引结构,解决P2P环境中对多维数据的索引.并且结合两种剪枝策略减小了候选集的范围和减少了查询在P2P网络中的网络代价.实验结果表明,该方法在减少网络代价方面具有较高的性能.     

KNN查询处理算法性能研究

KNN查询是多媒体数据库管理系统中最具代表性的查询方式之一,它将k个与查询点最接近的对象作为查询结果返回。对于树型多维索引结构,KNN查询处理算法主要有RKV算法和HS算法。本文针对这两种不同处理算法进行了性能研究,通过试验确定了算法的不同适用场景,最后就应用中的KNN查询实现给出了相应的建议。     

一种基于对象快照模型的时空查询原子模型

基于对象快照模型, 在分析时空对象最基本时空特征的基础上, 定义时间范围、空间范围、时空范围、时间关系、空间关系和属性状态6 个基本查询元素。在此基础上, 以时间为主轴, 定义原子查询类型, 并提出基于原子类型构造新类型的方法。对基本元素和原子查询的定义不涉及应用级语义, 使其具有良好的系统性和适应性; 同时具有明确的GIS 表达, 使其具备可实现性。研究成果可以作为时态GIS 中时空查询接口实现的基础和依据。     

基于位置的偏好查询处理技术

在线位置服务技术日益普及,用户能够很容易获得他们的地理位置信息.随之产生了各类有关空间关键字的查询,这些查询可以提供定位服务的基本查询功能.研究了基于位置的偏好查询处理技术,旨在为用户找到一个目的地,找到的结果应该满足指定的特性,并且靠近满足用户提出的偏好.同时,提出一种新颖的查询框架,该框架通过对IR-tree的节点扩展给出预计算信息表,根据扩展的IR-tree能够减少搜索空间并提出准确计算方法来有效地回答基于位置的偏好查询.在真实数据集上进行实验验证了提出方法的有效性.     

Spark环境下基于网格索引的轨迹k近邻查询方法

移动对象轨迹的k近邻(k nearest neighbor trajectories,kNNT)查询是一种重要的空间信息服务,主要用于寻找与给定轨迹最近邻的k条轨迹,被广泛地应用于智能交通、信息推荐等领域。随着轨迹数据量的快速增长,由于单机计算资源的限制,传统集中式环境下的kNNT查询效率和可扩展性无法满足实际要求。为了解决这个问题,设计了轨迹数据的分布式网格索引结构,该索引在Spark环境下将轨迹切分并映射到网格中,并引入轨迹还原表以保留查询时候选子轨迹段间的连续性。基于此索引,提出了Spark环境下的轨迹k近邻查询方法kNNT-Grid。实验结果表明,kNNT-Grid方法在分布式环境下实现了良好的查询效率和可扩展性,能够应对海量轨迹数据的k近邻查询需求。     

一种基于路网D树的无线广播环境下路网最近邻查询处理算法

位置相关查询是数据库领域的一个研究热点。重点研究了无线广播环境下路网最近邻查询（NN）处理问题。对一个给定的路网结构及路网上分布的数据对象,构造对应的路网Voronoi图（NVD）,并在NVD图的基础上构建路网D树索引结构。然后,将路网D树索引结构线性化以支持无线广播环境下路网NN查询的处理,并提出了相应的路网NN查询处理算法。模拟实验表明,所提出的算法是有效的。     

复合滑动窗口连接算法

滑动窗口是对数据流进行连续查询处理、得出近似查询结果的一种常用的数据采样技术．连续查询处理的执行方式有2类：一类是立即执行方式；一类是周期执行方式、在已有的研究工作中，基于滑动窗口的连接算法都是适用于立即执行的连续查询．提出了适用于周期执行的连续查询的复合滑动窗口连接算法，即CSWSNLJ算法和CSWSNHJ算法．理论分析和试验结果表明CSWSNHJ算法具有较好的性能．