基于随机平衡采样的不平衡数据流分类研究

数据流广泛应用于现实世界的多个领域,但是不平衡数据流的存在严重影响了传统数据流分类器的性能.针对不平衡数据流问题,提出了随机平衡采样算法(RBS)处理数据流的不平衡问题,并以RBS算法为基础提出了随机平衡采样数据流集成算法(RBSSEA)旨在解决不平衡数据流的分类问题.最后,分别采用合成和真实数据集对RBSSEA算法进行验证,实验结果证明RBSSEA算法在解决不平衡数据流分类问题具有一定的优势.     

1000 BASE-T物理编码子层的硬件实现

介绍了1000 BASE-T物理编码子层(PCS)采用的4D-PAM5编码算法,分析编码算法中的一些关键性技术.提出解码流程,并给出了解码中字同步算法及其硬件结构.用Verilog HDL完成了PCS的硬件设计,进行了仿真验证,并给出了流片测试结果.     

基于滑动窗口的动态数据流聚类算法研究

数据流聚类算法是当前数据流研究领域里的重要分支,而滑动窗口是数据流中一种关注近期数据的近似方法,提出一种采用滑动窗口处理数据的优化算法SWStream.算法采用双层架构思想,在线阶段利用滑动窗口树存储概要结构,动态调整窗口大小.而在离线阶段对上一阶段的结果进行宏聚类,得到最后的结果.实验验证本算法有更高的处理效率,也相对节约内存.     

基于数据流频繁模式挖掘的入侵检测模型

计算机网络入侵通常具有高频度特性,因此,识别是否正常访问,对数据流中重复元素的挖掘,给出频度指标,是一种重要的依据.提出一种基于数据流频繁模式的改进型AFP算法,该算法采用滑动窗口树技术,单遍扫描数据流及时捕获网络上的最新模式信息,并将该算法应用在入侵检测模型中正常数据和异常数据的在线挖掘.解决了有限存储和无限数据流的矛盾.实验结果表明,该模型有较高的报警率和较低的误报率.     

一种基于滑动窗口的一趟数据流聚类算法

在海量的动态数据流中发现有价值的知识,是数据挖掘技术研究的重要问题.研究数据流聚类,根据数据流的特点,提出了一种基于滑动窗口的一趟数据流挖掘的算法,对原有的一趟数据流聚类算法进行了改进,增强了一趟数据流聚类算法的扩展性,改进了数据流聚类的质量.     

数据流系统中链式调度算法的改进

在数据流处理系统中,数据到达的突发性要求调度策略具有适应性.链式调度算法在最小化内存使用量方面起到较好的作用,但使输出延迟增大,降低了数据流处理系统的吞吐量.对数据流系统中链式调度算法进行了改进,采用链式调度与先进先出调度相结合的方式,在满足降低系统存储需求的同时能保持较低的输出延迟.     

噪声数据流的分类方法

数据流中噪声数据的处理是当前数据流分类挖掘中重要的研究分支,近些年来得到了广泛的关注.本文提出了一种称为FDBCA的数据流分类算法.它使用基于密度的带有噪声的空间聚类(DBSCAN)的改进算法Fast-DB-SCAN(FDBSCAN)处理噪声数据,并利用错误率方差(MSE)来检测概念漂移.同已有的数据流分类算法相比,实验结果表明了FDBCA算法可以提高噪声数据流的分类精度.     

数据流分类关键技术研究

回顾了数据流分类领域的研究进展情况,阐明概念漂移等数据流分类需要解决的关键问题,讨论了适合于数据流经典分类算法的选择,在详细分析现有数据流分类算法优缺点的基础上,提出一种在线分类算法的设计思路.     

一种基于聚类的数据流隐私保护算法

数据流潜在无限、流动迅速、变化频繁等特点,使在数据流上实现隐私保护面临重大挑战.在阐述数据流匿名的概念及分析现有数据流匿名算法特点的基础上,提出基于聚类的数据流匿名设计思想,并给出算法实现.在真实数据集上的实验结果表明,新算法在满足匿名要求的同时能够降低概化和抑制处理带来的信息损失.     

基于粒子群优化算法的交通数据流聚类分析

针对交通数据流聚类分析过程中生成顺序的不确定性,提出了采用基于网格和密度的D-Stream算法对交通数据流进行聚类分析,并将粒子群优化算法引入聚类过程,从而对数据流聚类分析方法进行了改进,使数据聚类能够根据本身的密度极大值有序生成,增强了用户对聚类过程的控制能力.通过昆明市实测交通数据流进行聚类分析,得到了能够反映交通状况不同特征的聚类结果和动态的控制策略,并对交通数据流的相关研究工作提供决策支持.     

异构Web对象共指冲突识别与消解研究

针对现有的语义Web 中对象共指的消解工作研究不足,提出了一种异构Web数据流对象共指消解的技术.首先,定义了Web数据流对象的对象共指冲突识别与消解框架;然后,提出了一种基于描述逻辑的对象共指识别技术,归纳给出了描述逻辑的层次依赖关系并提出了基于依赖图的冲突遍历识别算法;并且,在冲突消解方面,定义了冲突的三种类型、冲突消解匹配模式与仲裁消解算法;最后,分别用测试集检验了本文提出的异构Web数据流冲突识别与消解技术的应用效果.     

基于IP的DVB实时复用器中时序处理算法

DVB实时复用器在复用过程中需要对MPEG-2传输流(TS)中的时序关系进行处理,传统的处理算法只对MPEG-2时序中的PCR值进行了处理,所以在处理基于IP的DVB复用器中的时序关系时,传统算法存在着局限性.为了突破传统算法的局限,提出了一种不依赖于原始流中时序关系的校正算法,并且在对PCR进行校正的同时,按照视频缓冲检验器(VBV)的工作方式对DTS和PTS也进行了校正,使复用输出的TS流符合MPEG-2标准.最后,通过硬件平台和实验环境对所提出的时序处理算法进行了实际测试,并验证了算法的可行性.     

面向科技管理的流数据聚类算法研究

介绍了科学管理流数据的流数据管理系统及根据BIRCH算法中聚类特征的概念,利用簇特征设计与实现了一种新的动态流数据聚类算法。这种新算法改善了基于滑动窗口流数据聚类的有效性以及空间和时间复杂度问题。理论分析和实验结果证明该算法能够有效地处理滑动窗口流数据集,使聚类算法具有良好的可扩展性。     

基于代价敏感不平衡数据流分类算法

在数据流分类学习过程中,类不平衡和概念漂移是两大挑战问题.在分析传统特征选择算法和代价敏感学习方法的基础上,将代价敏感学习算法的思想引入特征选择算法中,设计并实现了一种基于代价敏感的Relief F剪枝的数据流分类算法,不仅能删除冗余的特征,而且适应动态变化的数据流环境.与经典的算法进行分析比较,结果表明所提算法可显著提升分类效果.     

SCMR: a semantic-based coherence micro-cluster recognition algorithm for hybrid web data stream

Data aggregation from various web sources is very significant for web data analysis domain.In addition,the recognition of coherence micro cluster is one of the most interesting issues in the field of data aggregation.Until now,many algorithms have been proposed to work on this issue.However,the deficiency of these solutions is that they cannot recognize the micro-cluster data stream accurately.A semantic-based coherent micro-cluster recognition algorithm for hybrid web data stream is proposed.Firsdy,an objective function is proposed to recognize the coherence micro-cluster and then the coherence micro-cluster recognition algorithm for hybrid web data stream based on semantic is raised.Finally,the effectiveness and efficiency evaluation of the algorithm with extensive experiments is verified on real music data sets from Baidu inc.and Migu inc.The experimental results show that the proposed algorithm has better recall rate than the non-semantic micro cluster recognition algorithm and single source data flow micro cluster recognition algorithm.     

基于数据流的序列模式挖掘算法

为了实现对数据流的序列模式挖掘，提出了基于数据流的序列模式挖掘算法MFSDS-1和MFSDS-2，它们均通过调整入选度的大小来调整保存信息的粒度．算法MFSDS-2利用分层存储结构，不仅能更好地保存序列信息，而且可以通过与全局序列模式的对比得到当前活动的一些异常序列模式．实验结果表明，基于分层存储的算法MFSDS-2的效率比算法MSFDS-1高．     

基于数据流的序列模式挖掘算法

为了实现对数据流的序列模式挖掘,提出了基于数据流的序列模式挖掘算法MFSDS-1和MFSDS-2,它们均通过调整入选度的大小来调整保存信息的粒度.算法MFSDS-2利用分层存储结构,不仅能更好地保存序列信息,而且可以通过与全局序列模式的对比得到当前活动的一些异常序列模式.实验结果表明,基于分层存储的算法MFSDS-2的效率比算法MSFDS-1高.     

复合滑动窗口连接算法

滑动窗口是对数据流进行连续查询处理、得出近似查询结果的一种常用的数据采样技术．连续查询处理的执行方式有2类：一类是立即执行方式；一类是周期执行方式、在已有的研究工作中，基于滑动窗口的连接算法都是适用于立即执行的连续查询．提出了适用于周期执行的连续查询的复合滑动窗口连接算法，即CSWSNLJ算法和CSWSNHJ算法．理论分析和试验结果表明CSWSNHJ算法具有较好的性能．     

Efficient Processing of Skyline Group Queries over a Data Stream

In this paper, we study the skyline group problem over a data stream. An object can dominate another object if it is not worse than the other object on all attributes and is better than the other object on at least one attribute. If an object cannot be dominated by any other object, it is a skyline object. The skyline group problem involves finding k-item groups that cannot be dominated by any other k-item group. Existing algorithms designed to find skyline groups can only process static data. However, data changes as a stream with time in many applications,and algorithms should be designed to support skyline group queries on dynamic data. In this paper, we propose new algorithms to find skyline groups over a data stream. We use data structures, namely a hash table, dominance graph, and matrix, to store dominance information and update results incrementally. We conduct experiments on synthetic datasets to evaluate the performance of the proposed algorithms. The experimental results show that our algorithms can efficiently find skyline groups over a data stream.