基于PLA的多数据流自适应分段算法

提出了一种基于点对线性近似的多数据流自适应分段算法,即快速点对线性近似的时序流(QPLAS)算法,它能够实时地对多数据流进行分段.采用一次扫描和滑动窗口工作机制,其主要思想是增量计算方法,能够在O(1)的时间复杂度内连续计算每个段的近似错误.为了同时处理多个数据流分段,将所有数据流当前未完成的段索引到一个B+树索引当中.这样,QPLAS仅占用少量内存即可高效处理多个数据流的分段.实验结果表明QPLAS比传统方法快1～2个数量级.     

基于数据流的时间条件占优查询

传统的偏好推理使用权衡增强的条件偏好网络（Tradeoff-Enhanced Conditional Preference Networks,TCP-nets）进行用户的偏好推理，不仅能高效地表示对元组的定性偏好关系并优化用户偏好结果，还能描述每个属性之间的偏好关系，其主要聚焦于关系元组中的单个属性的偏好.但把对条件偏好查询的技术推广到数据流的条件提取却是一个挑战，面临的技术困难主要是对数据流中序列的提取，对提取的序列进行占优查找等.首先，针对偏好数据流，提出一种时间条件查询语言Stream Pref来处理数据流；其次，在Stream Pref中加入时间索引来推理和规范数据流提取序列的时间条件偏好，提出提取对象序列算法、占优对象及占优序列查找算法和数据流序列间占优对比的算法；最后，在数据集上分析验证提出的算法的有效性.实验结果证明，提出的算法与min Top-k,Partition和Incpartition算法相比，得到的结果更准确.     

一种基于可变滑动窗口的数据流分段聚类算法

数据流的应用越来越广泛,数据流挖掘成为数据挖掘的重点研究方向之一。在分析各种数据流聚类算法的基础上,提出了一种基于可变滑动窗口的数据流分段聚类算法。算法以时间序列数据流模式表示技术为参考,以去除噪音和压缩数据为目的,实现了数据流的特征提取和概要存储。实验表明,算法具有低时空复杂度、自适应等特点。     

一种异步多线程的Web数据流高效处理模型

提出并实现了异步多线程的Web数据流高效处理模型．主要工作包括：(1)分析了传统web数据流处理模式并发处理机制的不足，用大流量并发请求和复杂数据流环境的实验揭示了传统模式的弱点；(2)提出了一种新的基于分而治之思想的多线程缓冲处理模型MTBP(Multithreads-buffering Processing Model)，它利用异步处理机制高效灵活地处理各类复杂的web数据流；(3)提出了MTBP模式用于处理并发可串行化事务的调度算法CSTS；(4)实验验证MTBPCSTS对大量并发数据流请求的处理速度提高到2倍以上，对复杂数据流处理的响应速度提高到1个数量级以上．     

正交频分复用原理及应用分析

OFDM的基本思想是将所要传输的数据流分解成多个比特流，每个子数据流具有低得多的传输比特速率，并且用这些数据流去并行调制多个载波。由于符号持续时间的加长，因而它对多径时延扩展有较强的抵抗力，是对高速数据传输的一种潜在的解决方案，本着重讨论了OFDM基于FFT算法实现多载波调制的原理以及OFDM中的信道均衡技术，最后介绍了OFDM在HDTV传输系统和HFC网中的应用。     

基于随机平衡采样的不平衡数据流分类研究

数据流广泛应用于现实世界的多个领域,但是不平衡数据流的存在严重影响了传统数据流分类器的性能.针对不平衡数据流问题,提出了随机平衡采样算法(RBS)处理数据流的不平衡问题,并以RBS算法为基础提出了随机平衡采样数据流集成算法(RBSSEA)旨在解决不平衡数据流的分类问题.最后,分别采用合成和真实数据集对RBSSEA算法进行验证,实验结果证明RBSSEA算法在解决不平衡数据流分类问题具有一定的优势.     

一种新型带宽公平分配算法

为了有效地解决个别大流量数据流所造成的不合理带宽占用问题，提出了一种用于路由器的对带宽进行公平分配的流量标记缓冲管理(TMBM)算法．该算法由流量分类标记算法和缓冲管理算法组成，它将每一个数据包归属到数据流，根据每种数据流发送的累计数据包进行数据流分类，按照分类的结果和该类数据流对先进先出(FIFO)缓冲区的利用情况，由缓冲管理算法来确定对该数据流的带宽分配．在不同流量组合的情况下对该算法进行了仿真，结果表明：在各种情况下它都可以达到公平的带宽分配效果，性能比Drop—Tail、RED和DRR等算法优异．     

将向量处理引入数据流计算机

数据流计算机解决了多机系统存储器延时和同步２个不易解决的基本问题，可以充分利用程序的各级并行成分．这种计算机在算术运算等方面性能优越，但在结构数据（如向量）处理方面开销大、效率低．将向量处理技术引入数据流计算机，能有效地解决这个问题．通过在类似Ｍａｎｃｈｅｓｔｅｒ的数据流计算机上增加向量处理功能，并进行了矩阵乘运算的模拟．结果表明，增加向量处理后，矩阵乘运算的效率比近几年提出的Ｍｏｎｓｏｏｎ和Ｅｐｓｉｌｏｎ等数据流计算机提高一倍，甚至２倍以上．     

SMART: 基于数据流技术的电信网络流量监控系统

大多数国内电信运营商现有的网络流量监控系统的分析都是基于数据文件的操作模式，处理速度远跟不上大量数据到达的速度。基于这种情况，提出了基于数据流技术来实现在线网络流量监控系统SMART。SMART收集多个路由器发送的Netflow V5或者V9格式的数据，并将其转换成用户定义的监控流；以滑动窗口的方式查询输出流量构成中Top-k频繁数据信息；监测网络流量突变；以可视化的图形和报表形式显示结果。SMART先进的数据流算法技术基础和完整的系统框架设计使得它在上海电信高效稳定的7*24h运行。     

数据流挖掘研究

数据流挖掘技术是数据挖掘领域的新研究方向之一。本文介绍了数据流基本特点以及数据流模型的基础上,对流行的数据流处理技术和现有数据流挖掘算法进行了总结,并进一步提出了数据流挖掘技术的研究方向和前景。     

噪声数据流的分类方法

数据流中噪声数据的处理是当前数据流分类挖掘中重要的研究分支,近些年来得到了广泛的关注.本文提出了一种称为FDBCA的数据流分类算法.它使用基于密度的带有噪声的空间聚类(DBSCAN)的改进算法Fast-DB-SCAN(FDBSCAN)处理噪声数据,并利用错误率方差(MSE)来检测概念漂移.同已有的数据流分类算法相比,实验结果表明了FDBCA算法可以提高噪声数据流的分类精度.     

基于密度的不确定数据流聚类算法

不确定性的出现使传统算法无法直接用于聚类不确定数据流。该文提出一种不确定数据流环境下基于密度的聚类算法,其中提出不确定度的概念以衡量不确定数据的分布信息,并在改进面向确定数据的聚类算法DENCLUE的基础上,提出一种可处理数据不确定度的UDENCLUE算法,以降低数据的不确定性对聚类结果产生的影响;提出滑动窗口下基于密度的不确定数据流聚类算法USDENCLUE,通过聚类特征指数直方图技术实现快速剪枝,可以高效处理噪音数据、演化数据流并生成任意形状的簇;采用真实数据集及人工合成数据集对USDENCLUE与CluStream聚类算法进行比较,实验结果表明了所提出算法的高效性和有效性。     

数据流连续查询处理技术的研究

数据流查询处理技术的研究是目前数据库研究领域的热点问题.传统的数据库技术不能处理诸如网络监测、传感器网络、股票分析等应用中所生成的新型数据,即数据流.数据流作为一种新的数据形态,不同于传统的静态数据,具有连续快速、短暂易逝、规模宏大和不可预测的特点;其研究核心是在一个远小于数据规模的有限存储空间迅速获得近似查询结果.综述关于数据流查询处理技术的研究成果,主要介绍数据流模型、查询的特征、数据流近似查询操作算法的实现以及数据流系统中的查询处理方法.     

一种基于数据流的网络软件系统逆向工程方法

由于网络软件系统中分析数据具有快速产生的特征,网络软件系统逆向工程的最大挑战在于如何及时高效地处理这些数据,从而得到逆向工程的结果。在分析现有研究成果的基础上,对分析数据进行基于数据流的建模,从而能够快速高效地处理大中型网络软件系统中的数据,同时设计了基于优先级与数据流四元组的网络软件系统逆向工程算法,通过不同类型网站的实验,验证了算法的性能与匹配度和其他同类算法相比都有较大的提高。     

一种面向动态不平衡数据流的集成超限学习机分类算法

随着数据收集、存储和传输技术的快速发展，数据流的挖掘处理技术正在成为机器学习中的一个热点问题。在许多情形下，持续到达的数据之间可能会呈现出不平衡的态势，甚至是动态不平衡，这给许多机器学习算法造成了困难。文中提出面向动态不平衡数据流的集成超限学习机算法，设计了数据流中不平衡率变化的快速监测方法，修正了历史数据不平衡率的计算方式，使其更接近不平衡率的实时变化，并结合超限学习机的特点，将增量学习与集成学习结合。定期剔除权重低的基分类器，利用新到达的数据更新集成中的基分类器和训练新的基分类器。该方法针对动态不平衡数据流设计，具有很好的学习能力，同时也能适用于静态或者平衡的数据流的分类。实验中，将该方法与其他几种常用的方法在一些不同类型的数据流上进行了比较，结果表明，文中方法的分类性能更好。     

基于人工蜂群算法的数据流聚类研究

聚类是数据挖掘领域非常重要技术之一,能发现数据中隐含的知识和价值,在数据流分析中有重要的意义.针对现有数据流聚类算法的不足,根据数据流特点提出了一种高效、可扩展的数据流聚类算法ABCClu Stream.该算法借鉴了经典Clu Stream算法的在线—离线两阶段框架,根据蜂群算法的相关理论定义聚类过程中相关的参数、微簇聚类特征结构等,设计出了一种全新的算法.通过实验表明,本文所设计出的ABCClu Stream算法具有聚类纯度高、可扩展性好的特点,能够产生高质量的聚类结果,适用于大规模的动态数据流聚类的分析和研究.     

基于数据流表达式的程序数据流分析算法

以形式化的方法论述了程序数据流分析的基本原理，给出了数据流表达式的概念。并在此概念的基础上，给出了一个找出程序数据流异常的数据流分析算法。本算法通用性强，运用本算法不难开发出相应的程序测试辅助工具，具有一定的实用价值     

CORDIC算法在软件无线电中的应用

数字下变频技术是软件无线电的关键技术之一，其主要功能是把信号搬移到更低的频率上，将宽带高速数据流信号转变成窄带低速数据流信号，以便实时信号处理．研究了一种产生正弦和余弦而无需大量查询表的方法——CORDIC算法（坐标旋转数字计算）．此算法的优点在于它不但替代了巨大的查询表，而且4个乘法器也不需要了，这是由于CORDIC算法可以用于实现复数的复相位旋转．这种方法能有效提高信号处理效率，减小硬件设计的代价，并通过仿真证明该方法的高效性．     

一种分布式大数据挖掘的快速在线学习算法

在大数据分析处理中,存在诸多问题,如数据类型多,处理效率低,从中获得有用的信息和知识以便指导后续的决策,这是机器学习的最终目标。有效学习样本逐渐增加,据此如何高效渐进地学习分类器是一个非常有价值的问题。大数据分析要求大量数据流的分布式挖掘要实时执行,设计这样独特的分布式挖掘系统:在线适应传入数据的特征;在线处理大量的异构数据;在分布式学习者之间的有限数据访问和通信能力。提出了一个基本的数据挖掘框架,并基于此研究了一种高效的在线学习算法。框架包括一个整体学习者和只能访问不同输入数据部分的多个局部学习者。通过利用在局部学习者学习的相关性模型,提出的学习算法可以优化预测精度而比现有最先进的学习解决方案需要更少的信息交换和计算复杂度。     

数据流系统中链式调度算法的改进

在数据流处理系统中,数据到达的突发性要求调度策略具有适应性.链式调度算法在最小化内存使用量方面起到较好的作用,但使输出延迟增大,降低了数据流处理系统的吞吐量.对数据流系统中链式调度算法进行了改进,采用链式调度与先进先出调度相结合的方式,在满足降低系统存储需求的同时能保持较低的输出延迟.