一种数据流异常并行挖掘算法

研究了一种面向入侵检测的数据流异常并行挖掘算法,通过对数据流的信息统计和比较,可以得到数据流的异常信息,结合入侵检测特征库,可以判断是否是入侵信息。     

一种基于混沌理论的数据流连续聚集查询预测算法

为了有效地预测聚集查询的未来聚集值,提出了一种基于混沌理论的数据流连续聚集查询预测未来聚集值算法——CSPA算法.数据流看作是以数据到达时间为序的一个时间序列,借鉴传统时间序列分析技术探讨了连续聚集查询的未来聚集值预测问题,但由于数据流序列与传统时间序列在时间间隔和数据集的处理上存在很大差别,于是采用流滑动窗口技术加以处理.其次,针对目前数据流聚集查询预测领域已有的一些研究结果都未考虑流数据内在的复杂非线性动力学特征对预测的影响问题,该算法又利用了混沌理论中的局域预测思想解决了这一不足.实验结果表明,利用该算法进行预测具有很好的准确性.     

时间滑动窗口上数据流极值聚集的空间优化

传统的数据流极值聚集方法在极端情形下为获得连续的精确解,会因维护大量候选项而导致巨大的内存开销,为此文中提出了一种时间滑动窗口上内存有界的极值聚集方法.在候选项数量达到指定阈值时,该方法随机抽样新到达窗口的数据,使得内存维护有限数量的候选项,连续返回极值近似解.设计了一种空间有界的摘要数据结构REx-link,可以在有界的内存中基于随机抽样进行维护,实现时间滑动窗口上的数据流极值聚集.从理论上证明了随机算法的出错概率存在上界,并通过仿真实验分析了算法的返回结果与精确解的近似程度.分析表明,计算精度和空间开销的折中是实际应用可接受的.     

无线传感器网络中数据流聚集的预处理

提出了一种基于无线传感器网络数据流聚集的预处理算法。传感器结点将其在一段时间内采集到的信息当作一个数据流,由此组成数据流上的查询集合,为了得到对于给定查询的结果,结点采用预处理的算法在查询集合中选择出最有效的时间段信息,并把该段时间内的数据发给路由上其他结点进行进一步处理。提高了网络结点感知效率和数据精确度。     

Outlier-DivideConquer：近似聚集查询中离群分治取样算法

取样是一种通用有效的近似技术,利用取样技术进行近似聚集查询处理是决策支持系统和数据挖掘实现技术中的常用方法.如何正确有效地给出近似查询结果并最小化近似查询误差是近似查询处理的关键和目标.在深入研究近似聚集查询取样方法的基础上,本文提出了一个有误差确界且只需单遍扫描数据集的离群分治取样Outlier-DivideConq...     

基于数据流表达式的程序数据流分析算法

以形式化的方法论述了程序数据流分析的基本原理，给出了数据流表达式的概念。并在此概念的基础上，给出了一个找出程序数据流异常的数据流分析算法。本算法通用性强，运用本算法不难开发出相应的程序测试辅助工具，具有一定的实用价值     

数字地图中三维柱状图的可视化算法

介绍了在数字地图的基础上 ,实现地域三维柱状可视化技术的原理和方法 .详述了地域平面多边形数据结构的建立以及多边形分解和图形的拓扑排序 ,对数字地图矢量化的组织和处理数据作了尝试 ,为地理信息领域显示三维图形提供了一种新的表现方式和手段 .     

数据流连续查询处理技术的研究

数据流查询处理技术的研究是目前数据库研究领域的热点问题.传统的数据库技术不能处理诸如网络监测、传感器网络、股票分析等应用中所生成的新型数据,即数据流.数据流作为一种新的数据形态,不同于传统的静态数据,具有连续快速、短暂易逝、规模宏大和不可预测的特点;其研究核心是在一个远小于数据规模的有限存储空间迅速获得近似查询结果.综述关于数据流查询处理技术的研究成果,主要介绍数据流模型、查询的特征、数据流近似查询操作算法的实现以及数据流系统中的查询处理方法.     

基于数据流的频繁项集数据挖掘算法研究

以Apriori算法为例介绍并分析了挖掘最大频繁项集的过程。针对数据流的特点,对数据流中频繁模式挖掘问题进行了研究,提出了一种基于数据流频繁项集挖掘的新的EC算法。     

基于EasyMap的综合柱状图的绘制

以EasyMap为绘图平台,探讨了综合柱状图的自动绘制,给出了绘制的具体过程,对提高煤矿地质图件绘制的效率具有一定的意义。     

基于数据属性与服务的叠前深度偏移并行算法

在三维叠前Kirchhoff深度偏移的大规模并行计算过程中,高效存储与获取射线旅行时数据是非常必要的.为此提出一种以"属性关联表"和"数据服务进程"为基础、基于分布存储的三维叠前Kirchhoff深度偏移并行算法.通过"属性关联表",在射线旅行时的计算阶段可大大提高存储效率;通过"数据服务进程",在地震道(集)的成像阶段可及时响应来自各个工作进程对所需射线旅行时数据的请求.实际测试结果表明,该并行算法具有较好的可扩展性,当在64个处理器上运行时并行效率仍高于84%.     

A Granularity-Aware Parallel Aggregation Method for Data Streams

0 IntroductionDtartaaf fsitcr ecaonmtsroiln , mwaenayth aeprpfloicraectiaosnts e ,tcs u,ccho maes fwroebm sdeirsvtircieb-,uted data sources at different geographiclocations .Distributedprocessing is the inevitable development trend for managingdata streams . Shared-nothing clusters can scale up to thou-sands of computers ,increase the available main memory,pro-cessors ,diskspace and bandwidthalongthe way,andtherebyprovide potential for high throughput and lowlatencies . Yetto date(As yet) ,th…     

An Indexed Non-Equijoin Algorithm Based on Sliding Windows over Data Streams

0 IntroductionJooipner partoorcess ,sihnags ,rebceeiinvged o nreen oefw tehdei nmtoersets tex dpueen stiovein qfiuneirteymemory requirements from stream-oriented applications .Symmetric HashJoin(SHJ)[1 ,2]which was originally designedto allowa high degree of pipeliningintraditional parallel data-base systems ,is an optional approach because both ofitsinputmust be kept in bounded memory during query execution.Butit leads into thrashing on larger inputs . To rectify the situa-tion,XJoinis pro…     

基于MapReduce的数据流频繁项集挖掘算法

针对传统数据流频繁项集计算中效率低、内存消耗大等问题,本文采用并行计算的思想设计了一种基于MapReduce的数据流频繁项集挖掘算法,首先,对进行数据分块压缩和传输,其次,将数据频繁项的计算分布在负载均衡的数据节点,可以有效保证数据的执行效率.最后通过一次调度处理合并各个节点产生的频繁项集并进行合并.理论分析和实验对比结果均表明,该算法对于并行处理数据流频繁项集的统计问题是有效可行的.     

基于神经网络的并行布局算法

根据神经网络串行布局算法 ,进一步研究并提出了与布局问题相适应的神经网络并行计算模型及并行布局算法 ,以负载平衡及系统通信开销最小为目标 .理论分析结果表明 ,运用该算法能达到此目标 ,且具有布局质量高、收敛快、计算简单等特点 ,适于神经网络并行布局     

基于Spark的并行医学图像处理研究

随着医学图像规模的不断增长,为了快速且有效的处理医学图像并使各类图像处理算法得到应用.文章将传统的医学图像处理方法与Spark整合起来,提出了基于Spark的并行医学图像处理方法.首先,采用基于二进制的图像预处理转换方法,存储图像到分布式文件系统HDFS中;其次,应用传递函数的方法,避免了图像处理算法进行MapReduce转化,实现了快速的通用图像并行处理;最后,以肺叶DR图像分割算法为实例证明了基于Spark医学图像并行处理有较好的适应性和较高的效率,并适应大规模图像的并行处理.     

基于混合数据场的快速体绘制算法

为了突出人体重点器官的显示，提出了一种新颖的基于混合数据场的快速体绘制算法，从原始的三维数据中提取重要的结构，然后将原始三维数据中非重点的部分转换为梯度数据，构成混合数据，从而对混合数据进行体绘制，结果表明，该算法可以加快体绘制速度同时改善重点器官的显示效果。     

数据流滑动窗口方式下的自适应集成分类算法

针对基于数据块的集成算法,存在数据块大小影响分类效果,且不能及时应对完整式概念漂移的问题,提出了一种考虑数据流局部特征的和能应对多种类型概念漂移的集成分类算法.用滑动窗口作为概念漂移检测器,当检测到概念漂移时,则建立新的分类器并加入到集成分类器中.本文提出的算法在人工合成和真实数据集上与经典算法进行了广泛的对比实验.结果表明:提出的算法在分类准确率上具有明显优势,消耗更少的内存,更适合多种类型概念漂移的环境.     

基于数据流频繁模式挖掘的入侵检测模型

计算机网络入侵通常具有高频度特性,因此,识别是否正常访问,对数据流中重复元素的挖掘,给出频度指标,是一种重要的依据.提出一种基于数据流频繁模式的改进型AFP算法,该算法采用滑动窗口树技术,单遍扫描数据流及时捕获网络上的最新模式信息,并将该算法应用在入侵检测模型中正常数据和异常数据的在线挖掘.解决了有限存储和无限数据流的矛盾.实验结果表明,该模型有较高的报警率和较低的误报率.     

基于约束信息的并行k-means算法

为获得分布式数据集上用户所期望的聚类结果,提出了基于约束信息的并行k-means聚类算法.在分析并行k-means能够有效实现对水平分布式数据集进行聚类的基础上,修改并行k-means算法的目标函数,设计约束并行k-means算法,将站点用户的约束信息以chunklet的形式引入到分布式聚类过程,从而引导算法执行有偏搜...