A graph based sliding window multi join over data stream

Join operation is a critical problem when dealing with sliding window over data streams. There have been many optimization strategies for sliding window join in the literature, but a simple heuristic is always used for selecting the join sequence of many sliding windows, which is ineffectively. The graphbased approach is proposed to process the problem. The sliding window join model is introduced primarily. In this model vertex represent join operator and edge indicated the join relationship among sliding windows. Vertex weight and edge weight represent the cost of join and the reciprocity of join operators respectively. Then good query plan with minimal cost can be found in the model. Thus a complete join algorithm combining setting up model, finding optimal query plan and executing query plan is shown. Experiments show that the graphbased approach is feasible and can work better in above environment     

基于图的情境离群点检测方法

针对异常模式挖掘中的情境离群点检测问题,提出一种基于图的检测方法.首先对数据实例构建一个实例图,然后采用一个滑动窗口穿越数据实例,对处于滑动窗口内的数据实例,计算结点之间的闵可夫斯基距离作为边权值,然后采用最小生成树聚类算法对实例图进行聚类,再采用第二个滑动窗口穿越数据实例,根据窗口内的数据实例是否属于主趋势聚类赋予不同的离群值评分,不属于主趋势聚类的数据实例被认为是潜在的离群点.仿真实验和实际数据分析表明该方法在一元序列数据检测中是切实可行的,该方法具有较好的适用性和扩展性.     

基于宽窗口和PAST算法的扩频序列盲估计

针对DSSS信号的盲估计问题,结合投影逼近子空间追踪算法(PAST)和滑动窗技术,对接收信号进行宽窗口划分,实现了非同步接收信号的扩频码的恢复。该方法只需要提取信号的主特征向量,然后利用滑动窗的方法实现码同步。PAST方法避免了特征值的求解,降低了计算量,易于硬件实现,解决了传统的特征分解方法实时处理的困难以及相位模糊的问题,并且能在低信噪比下实现扩频码的估计。     

An Indexed Non-Equijoin Algorithm Based on Sliding Windows over Data Streams

0 IntroductionJooipner partoorcess ,sihnags ,rebceeiinvged o nreen oefw tehdei nmtoersets tex dpueen stiovein qfiuneirteymemory requirements from stream-oriented applications .Symmetric HashJoin(SHJ)[1 ,2]which was originally designedto allowa high degree of pipeliningintraditional parallel data-base systems ,is an optional approach because both ofitsinputmust be kept in bounded memory during query execution.Butit leads into thrashing on larger inputs . To rectify the situa-tion,XJoinis pro…     

Linked-Tree： An Aggregate Query Algorithm Based on Sliding Window over Data Stream

How to process aggregate queries over data streams efficiently and effectively have been becoming hot re search topics in both academic community and industrial community. Aiming at the issues, a novel Linked-tree algorithm based on sliding window is proposed in this paper. Due to the proposal of concept area, the Linked-tree algorithm reuses many primary results in last window and then avoids lots of unnecessary repeated comparison operations between two successive windows. As a result, execution efficiency of MAX query is improved dramatically. In addition, since the size of memory is relevant to the number of areas but irrelevant to the size of sliding window, memory is economized greatly. The extensive experimental results show that the performance of Linked-tree algorithm has significant improvement gains over the traditional SC （Simple Compared） algorithm and Ranked-tree algorithm.     

复合滑动窗口连接算法

滑动窗口是对数据流进行连续查询处理、得出近似查询结果的一种常用的数据采样技术．连续查询处理的执行方式有2类：一类是立即执行方式；一类是周期执行方式、在已有的研究工作中，基于滑动窗口的连接算法都是适用于立即执行的连续查询．提出了适用于周期执行的连续查询的复合滑动窗口连接算法，即CSWSNLJ算法和CSWSNHJ算法．理论分析和试验结果表明CSWSNHJ算法具有较好的性能．     

基于图的流行排序的视觉跟踪

为了克服基于检测的目标跟踪中的模型漂移问题,在基于检测的目标跟踪框架下提出一种新的基于图的流行排序的目标跟踪方法。该方法能够抑制在跟踪过程中目标变形、尺度变化以及遮挡等带来的背景信息的影响。首先,把目标矩形框划分为不重叠的图像块,构造一个k-正则图,即以这些图像块为图结点,构造k-正则图,边权定义为结点之间的底层特征的相似性。其次,为每一个图像块分配一个权重,用于表示该图像块在目标表达中的重要性,以此抑制背景信息的干扰,并通过半监督的方式进行计算。特别初始化一些背景或目标图像块,设其权重为1,其他为0,通过流行排序算法计算所有图像块属于背景或目标的权重。此外,使用多尺度特征金字塔的方法处理跟踪过程中的目标尺度变化,同时提高了初始图像块的可靠性。最后,把所有图像块的底层特征进行加权,连接成一个向量,作为矩形框的特征表达,并使用结构化输出(Struck)算法进行跟踪。在几个公共视频序列上进行了实验,结果表明,研究方法的跟踪性能极大地超过了其他跟踪方法。     

支持复杂语义的数据流滑动窗口连接建模和查询优化

数据流连接操作的执行方式直接影响到查询执行的效率和结果的正确性.在STREAM项目流化方法的基础上,对复杂应用下的数据流滑动窗口连接的准确语义进行了分析和建模,以时间窗口连接的增量维护为例提出了两种改进的基本维护策略,给出了针对元组窗和分组窗的维护方法,讨论了根据参数和环境的不同进行适应性的维护.实验证明了在不同的窗口、流速和选择度下,适应性地选择不同的优化算法会达到最优的处理性能.     

数据流滑动窗口上的一种多聚集查询共享策略

基于如何提高多个聚集查询的查询效率,提出了一种共享链树结构的多查询聚集计算共享策略.利用每个滑动窗口逻辑地将链树划分成若干子树,它们各自根节点中的聚集值恰好就是每个查询对应的结果值.数据流上多个查询可以在同一棵链树上并发执行,避免了每个查询的重复建树.同时,利用链树本身可降低无用的重复比较的性质,使得多个查询在同一棵链树上只需进行少量更新比较就可求得每个查询的新聚集值.实验证明,多个查询共用同一链树结构,可以最大程度地共享资源,减小内存使用量,因此大大提高了数据流上的查询处理效率,加大了数据流上的任务吞吐量,改善了系统性能.     

中间件异构数据库集成中基于半连接的查询优化算法

全局查询效率一直是中间件异构数据库集成中的热点和难点问题,由于目前异构数据库绝大多数是关系型数据库,所以采用半连接方法优化连接操作,并在半连接图的基础上提出了多个站点的半连接执行方案优化算法,该算法根据半连接图生成有向无序树,使多个半连接操作能够并行执行,经分析能有效地提高全局查询效率.     

并行空间连接查询处理

基于顺序空间连接查询的效率不能令人满意，利用并行控制提高空间连接查询效率。空间连接查询的并行处理方法最重要的特征是任务分配根据多路平面扫描顺序，避免了连接处理过程中处理器之间的通信花费，提出基于空间连接花费模型的任务分配方法和基于花费估计的动态任务分配策略，并给出了花费模型。该模型经实际应用效果明显。     

一种新的可调时间窗车辆调度问题研究

提出了一种新的时间窗可调整的车辆调度模型,设计了求解该问题的算法．设计了初始路径的构造算法、时间窗的分配以及动态调整策略和初始路径的禁忌搜索改进策略,实验计算表明,禁忌搜索算法能够显著改进初始解的质量,有效降低了运输成本,时间窗可调策略能够为顾客提供多个参考时间窗选择,增加了车辆调度的灵活性,与固定时间窗算法相比,本算法能够提高服务质量,不会产生拒绝顾客服务要求的现象．     

数据流滑动窗口连接的自适应降载策略

连接操作是一种应用广泛的查询类型,在对DSMS进行降载时,必须考虑连接查询的降载问题.针对滑动窗口连接查询,构建一种基于不同等级基本窗口的滑动窗口内部结构.采用部分连接的方式实现CPU过载情况下的降载,采用基于基本窗口重要性的语义丢弃方式实现内存不足情况下的降载.实验结果表明所采用的算法有效.     

基于多核环境的并行性双向枚举连接

基于多核处理器, 结合自底向上和自顶向下两种算法, 提出一种图遍历驱动的双向优化算法, 该算法充分利用两种遍历算法的优点, 并发挥多核环境的优势, 实现了最优查询计划的高性能并行构建, 解决了并行双向枚举连接问题. 实验结果表明, 该算法的性能优于已有算法, 可明显提高数据库查询速度.     

滑动窗口内动态数据流聚类算法研究

滑动窗口是数据流中一种关注近期数据的近似方法,提出一种采用滑动窗口处理数据的优化算法SWStream。在线阶段利用滑动窗口树存储概要结构,动态调整窗口大小。优化后的算法能及时淘汰过期元组,同时对新到达的元组不断进行实时处理,可以获得更准确的分析结果。而在离线阶段对上一阶段的结果进行宏聚类,得到最后的结果。与聚类算法CluStream相比,此算法处理数据的效率更高,也相对节约内存。     

基于GEP的多数据流预测算法

针对传统的基于线性回归预测建模方法只能适应简单的预测建模和只能预测未来窗口平均值的不足,提出了基于基因表达式编程(gene expression programming,GEP)的多数据流预测方法。在多数据流环境中使用滑动窗口对多数据流的划分方法,给出了多数据流环境中的数据流名称的定义,揭示了这些数据流之间存在的映射关系;进而提出了对多数据流进行预处理的方法,并建立了基于GEP的多数据流的自适应预测模型。使用真实数据进行实验,验证了算法的有效性。     

偶查询优化的图论方法

本文针对一类特殊的多关系查询——偶查询,提出了一种建立在图论偶图和匹配理论基础上的查询优化方法,这种方法具有多项式复杂性。     

改进的半连接查询优化算法

在多关系连接查询中,普通半连接查询方法没有优化子查询的半连接顺序,导致查询代价较高,为此,本文提出了一种改进的半连接查询优化算法.首先,将多关系连接组织成较小代价的类树形结构,然后利用半连接操作对处于根节点处的关系进行最大化缩减,并以此为基础利用PERF位向量对其他节点进行缩减,最后回收缩减关系进行连接操作.模拟实验表明改进的半连接查询优化算法能够有效地缩减查询关系,降低查询代价.     

一种基于安全索引的位置隐私保护方法

基于位置的服务(location based services, LBS)为人们日常生活带来极大便利的同时也严重地威胁到用户的隐私.为了在保护用户位置隐私的同时降低用户的查询代价,提出了一种基于安全索引的位置隐私保护方法(location privacy protection method based on secure index, LPPMSI).LPPMSI不需要用户搜集数据信息,数据拥有者为虚假位置信息建立安全索引.用户能够安全、快速地检索到虚假位置信息,服务器再执行基于虚假位置的LBS.并且还提出了基于滑动窗口的候选位置选择算法,有效减少候选位置选择时间.实验结果表明,LPPMSI在不改变隐私保护能力的前提下,不需要用户花费大量时间搜集数据分布及查询概率信息.