面向异常检测的时序数据库查询优化

随着物联网的发展,大量传感器设备被接入网络,这些设备所产生的数据的异常检测关系到系统服务的稳定性.时序数据库是专门为时序数据优化的数据库系统.作为监控系统的重要环节,时序数据库担负着时序数据的管理和查询任务.但目前时序数据库在处理多个数据源数据的查询上存在着延迟高、没有充分利用系统计算资源的缺点.针对上述缺点,基于InfluxDB,重新设计了时序数据库的查询执行模型,提出了InfluxDB-PP (parallel processing),很好地解决了上述问题.实验结果表明, InfluxDB-PP在实时数据异常查询场景下,查询时延相较于InfluxDB降低了约85.7%.     

如何提高聚合查询的灵活性

SQL语言的聚合函数为我们提供了数据的各种聚合能力，但是基本的聚合函数查询严格要求查询结果的每个字段要么出现在聚集函数的参数表达式里．要么出现在查询语句的GROUPBY子句里，这就限制了查询的灵活性。为了提高查询的灵活性，本文提供了具体的实例分析，并进行分类归纳，给出不同情景下的解决方案。     

数据查询计算机化的实现

为了解决机械工程设计中手工查询数据耗时耗力的问题，采用Delphi中的ADO组件连接加密的MS—ACCESS数据库来实现数据的自动化查询，并以键宽和键高查询为例，以小见大阐述了数据查询的实现过程。     

使用SetSQLSelect函数实现灵活数据查询

在PowerBuilder中 ,数据窗口是它的一项专利技术。SetSQLSelect函数是数据窗口控件的一个函数。本文通过分析SQLSELECT语句的结构 ,设计SQLSELECT语句 ,再使用SetSQLSelect函数即能实现灵活的数据查询功能     

网络环境下基于差值的聚合查询策略

聚合查询(GNN)在网络环境中是一个相对比较新的操作.与传统的只有一个查询结点的任意性,使得GNN查询比只有一个查询点的kNN查询复杂得多.文章提出了一种基于2个查询点的差值聚合查询,基于单查询点的YPK-CNN,利用双曲线性质把查询空间分成几大部分,在此基础上计算出双曲线的渐近线以简化删减条件,直接删减掉不符合条件的搜索空间.实验结果显示,针对这种特定的差值聚合查询,我们所提出的基于双曲线渐近线过滤策略的查询算法要比基本查询算法在查询响应时间和访问结点次数方面更高效.     

大数据环境下的安全多维数据聚合协议

针对大数据无线传感器网络(Wireless Sensor Networks,WSN)对路由聚合的同时难以保持数据机密性和完整性的问题进行研究,提出一种新的无线传感器网络隐式多维数据聚合协议,用于大数据环境下安全地聚合WSN生成的大量多维数据.该协议通过采用一种简单、轻量级的超递增序列和加性同态加密方案构造多维数据以保护...     

基于Web Services的数据查询引擎的研究与实现

根据Web Services技术具有平台独立性、可穿越防火墙等特点,在基于Web services的基础上引入了引擎的思想.设计并实现了一个可以针对不同类型的数据进行灵活查询的基于Web的数据库查询系统.     

基于Chord的聚合查询研究

分布式哈希表作为结构化P2P系统的核心技术,为P2P资源提供了精确的查找能力,但也阻碍了它在复杂查询方面的应用.本文主要分析了在Chord中实现聚合查询的方法,并介绍了其中的一种Cone结构.     

使用SetSQLSelect函数实现灵活数据查询

在PowerBuilder中，数据窗口是它的一项专利技术，SetSQLSelect函数是数据窗口控件的一个函数，本文通过分析SQLSELECT语句的结构，设计SQLSELECT语句，再使用SetSQLSelect函数即能实现灵活的数据查询功能。     

基于XML数据查询问题的研究

随着XML技术的不断成熟,基于其上的应用也越来越广泛.面对如此众多的数据,如何高效地处理XML查询,就成为目前研究的热点.通过对XML查询过程的分析,针对当前常用的查询方法存在过多扫描无用节点引起效率下降的问题,提出了一些优化策略:通过建立XML数据索引、查询语言的优化,有效提高其查询效率.     

Linked-Tree： An Aggregate Query Algorithm Based on Sliding Window over Data Stream

How to process aggregate queries over data streams efficiently and effectively have been becoming hot re search topics in both academic community and industrial community. Aiming at the issues, a novel Linked-tree algorithm based on sliding window is proposed in this paper. Due to the proposal of concept area, the Linked-tree algorithm reuses many primary results in last window and then avoids lots of unnecessary repeated comparison operations between two successive windows. As a result, execution efficiency of MAX query is improved dramatically. In addition, since the size of memory is relevant to the number of areas but irrelevant to the size of sliding window, memory is economized greatly. The extensive experimental results show that the performance of Linked-tree algorithm has significant improvement gains over the traditional SC （Simple Compared） algorithm and Ranked-tree algorithm.     

不确定性多维传感器数据的有效存储与查询方法

为解决传统数据库管理技术无法有效管理不确定性数据的问题,该文设计了一种多维数组树(MB树)。MB树是一种基于贝叶斯网络的图数据结构,以贝叶斯网络作为概率图模型解决存储和查询问题。对海量数据建模并响应查询。证明了可预测性和结构关联性。利用真实数据集和合成数据集对MB树的性能进行了测试。验证了具有潜在联合分布的MB树的编码准确度。与相似的图模型比较,采用MB树的查询处理效率平均可提升约3倍。     

动态数据系统的时间序列建模策略

传统的基于相关性分析方法进行建模的局限性和"危险性"主要表现在:估计的样本自相关是非常坏的估计,经常会有大的方差,彼此之间是高度相关的,可能给出原来序列结构一个完全失真的图像,不能较准确和全面地反映系统特性。提出了基于动态数据系统的时间序列建模方法,将时间序列看作是随机系统对不相关的或相互独立的"白噪声"输入响应的一种实现方式。对平稳时间序列,以自回归滑动平均模型为基本模型,并以额值为1递增拟合,用F检验判断拟合的改善程度,最后用残差分析判断模型的适用性。对非平稳序列,需先分离出确定性趋势,对剩余平稳随机部分建模分析。用该方法对隧道位移监测数据建模分析,预测与实测吻合较好,表明该方法具有适用性好、精度高且便于编制程序实现等优点。     

基于数据挖掘的金融时序频繁模式的快速发现

针对金融时间序列分析中注重快速作出趋势判断的特点,利用数据挖掘的思想和工具,提出一种金融时间序列模式快速发现算法.与传统的预测算法相比较,该算法对数据的分布和平稳性等方面的要求不高,不基于任何假设,能够非常快速地发现时间序列中的频繁模式,经过模式匹配后,可以用于金融时间序列的分析与预测.以实际汇率数据为例,证明了该算法的有效性.     

基于多维时间序列形态特征的相似性动态聚类算法

由于时间序列数据具有高维度、动态性等特点,这就导致传统的数据挖掘技术很难有效的对其进行处理,为此,提出了一种基于多维时间序列形态特征的相似性动态聚类算法(similarity dynamical clustering algorithm based on multidimensional shape features for time series,SDCTS).首先,提取多维时间序列的特征点以实现降维,然后,根据多维时间序列的斜率、长度和幅值变化的形态特征定义了一种新的时间序列相似性度量标准,进而提出无需人为给定聚类个数的多维时间序列动态聚类算法.实验结果表明,与其他算法相比,此算法对时间序列具有良好的聚类效果.     

一种基于混沌理论的数据流连续聚集查询预测算法

为了有效地预测聚集查询的未来聚集值,提出了一种基于混沌理论的数据流连续聚集查询预测未来聚集值算法——CSPA算法.数据流看作是以数据到达时间为序的一个时间序列,借鉴传统时间序列分析技术探讨了连续聚集查询的未来聚集值预测问题,但由于数据流序列与传统时间序列在时间间隔和数据集的处理上存在很大差别,于是采用流滑动窗口技术加以处理.其次,针对目前数据流聚集查询预测领域已有的一些研究结果都未考虑流数据内在的复杂非线性动力学特征对预测的影响问题,该算法又利用了混沌理论中的局域预测思想解决了这一不足.实验结果表明,利用该算法进行预测具有很好的准确性.     

数据流连续查询处理技术的研究

数据流查询处理技术的研究是目前数据库研究领域的热点问题.传统的数据库技术不能处理诸如网络监测、传感器网络、股票分析等应用中所生成的新型数据,即数据流.数据流作为一种新的数据形态,不同于传统的静态数据,具有连续快速、短暂易逝、规模宏大和不可预测的特点;其研究核心是在一个远小于数据规模的有限存储空间迅速获得近似查询结果.综述关于数据流查询处理技术的研究成果,主要介绍数据流模型、查询的特征、数据流近似查询操作算法的实现以及数据流系统中的查询处理方法.     

分布式数据查询优化算法的研究

分布式数据查询是分布式数据库管理系统的核心,而查询优化算法又是查询处理中的关键技术。分布式数据库管理系统的研究始于20世纪70年代中期,在30多年的发展中,取得了丰硕的成果。但由于分布式数据的分散性,使分布式数据查询比集中式数据查询复杂得多。本文对基于关系代数优化的算法进行了探讨和研究,并应用于实例,取得了较好的优化效果。     

一种时序数据局部相关对象聚类算法

针对高维时序数据中局部相关模式的聚类问题,建立了一种基于相关子模式的spCluster模型,讨论了该模型与平均平方残值的关系.并以此模型为基础,提出了适用于时序数据的确定性双聚类算法sp-TSC,该算法首先利用spCluster模型将局部相关的数据对象符号化,然后将字符序列插入到泛化后缀树中,利用后缀树的性质避免了穷举局部相关子模式的各种组合,有效减小了搜索空间,从而可以在数据矩阵尺寸的线性时间内发现全部最大δ-spCluster.理论分析和实验表明,该算法是高效可行的.     

网格数据查询优化中的缓存管理研究

鉴于缓存管理在分布式系统中可以减少网络流量,提高系统响应速度,尤其在网格计算环境中可以克服网络连接的带宽瓶颈,提出了一个用于优化网格信息查询的缓存管理模型.网格搜索引擎进行信息检索时,依据用户的查询需求,从网格异地异构数据库中查询并自动抽取信息,进行查询集成并存储在高速缓存中;根据缓存调度算法合理地组织中间结果;按照打分函数的控制,在生成的评分表下进行Top-K排序,合并生成最终结果;在保证网格查询准确性的同时,提高网格异构数据源查询速度.实验表明此方法是有效的.