一种基于位向量流分类算法的改进

在流分类算法中,聚合位向量(ABV)算法分类速度快、并行性好,但内存开销过大;位向量折叠(AFBV)算法对ABV算法进行了改进,降低了运行时内存的消耗,但其冗余计算增加了时间开销。针对上述不足,文章提出一种改进的位向量流分类算法,该算法无需进行位向量聚合,减少了内存开销,并按规则的源/目的IP地址前缀建立分组表,根据表中分组所包含IP地址数目降序排列,使得算法具有良好的时间性能。实验结果表明,本算法在大规模规则库下具有良好的时间和空间效率。     

基于浓缩数据立方的内存实化数据立方的构建

为提高联机分析查询的速度,在浓缩数据立方的基础上,构建了元组级别的内存实化方法.以内存空间至少能容纳最细粒度数据小方为前提,在内存中构造两级Hash结构:第一级Hash结构存放最细粒度的数据小方以保证所有查询都可从内存中响应;第二级Hash结构按照聚集度高的小方元组优先、相同聚集度情况下尺寸小的小方中元组优先的选择策略,选择立方元组在内存实化.处理点查询时,首先从第二级结构中直接查找满足条件的立方元组.若对范围查询,则需从第一级结构中计算获得.由于最细粒度立方元组和其他一些粗粒度元组都在内存中,避免了费时的外存存取,数据立方更新和维护代价也得以降低.     

面向交易实时数据库内存数据的组织方法

研究面向大规模电子交易实时数据库中密集内存数据的高效组织方法.采用线性存储池实现内存数据的物理存储组织,并根据交易事务更新内存数据的update-in-place和append-only特点,采用T树索引实现元组固定数据的逻辑组织,采用缠绕的双向链式索引实现动态数据的逻辑组织.简化了物理空间的分配和调整算法,提高了数据更新和索引重构的效率,降低了内存数据查询访问的时间复杂度.结果表明,基于T-树索引和链式索引的数据查询算法的时间复杂度分别控制在O(lnN)和O(ln(N 1)-1),满足大规模电子交易的需要.     

基于Heron平台的自适应重传策略

针对Heron容错机制中拓扑使用固定超时阈值未考虑数据源与组件内部逻辑的差异对元组往返时间影响的问题,提出了Heron环境下自适应重传策略,包括元组标记算法和最优参数估计算法.首先通过元组标记算法监控拓扑中元组,然后根据数据流的处理时延计算最优超时阈值并更新到拓扑中,从而适应当前集群的实际负载,提升集群性能.实验结果表明,自适应重传策略与默认重传策略相比,集群的元组失败率和CPU占用率在不同情况下平均降低了16%和0.6GHz,集群吞吐量平均提高了13%.     

一种基于噪音清除的网页削重算法

提出了一种基于噪音清除的网页削重算法.首先应用空间向量模型,仅仅使用<特征词,权重>二元组表示网页,降低削重算法的时空复杂度;其次,通过一组启发式规则来消除网页中包含的“噪音”,消除了无关信息对网页核心内容的干扰.     

对码本模型中码字结构的改进

针对码本结构, 提出一种简化算法. 该算法通过将码字元组中判断该码字是否冗余的元素--最大未使用时间改为由元组的其他变量直接计算而不存储在码字中, 去除了该变量所占用的空间, 将6元组替换为5元组. 实验结果表明, 该改进不会对运动目标检测增加额外计算, 准确性和实时性不受影响, 并可减少码本模型占用的内存.     

基于取样的潜在支持向量机序列最小优化算法

为了提高潜在支持向量机求解大规模问题的训练速度,提出了基于样本取样的潜在支持向量机序列最小优化算法,去掉了大部分非支持向量,把支持向量逐渐压缩到取样样本集中.此算法特别适合大样本数据且支持向量个数相对较少的情况.实验表明,改进的序列最小优化算法加速了潜在支持向量机分类器训练时间.     

一种基于SMP系统的并行关联规则挖掘算法

从大规模数据库中挖掘关联规则是数据挖掘研究的一个重要问题.基于内存共享的对称多处理器系统SMP是目前广泛应用的并行计算系统,在关联规则串行挖掘算法Apriori的基础上,针对SMP系统设计一种基于Hash树的并行算法.理论分析和实验表明算法是有效的,具有良好的加速比.     

基于MapReduce的Eclat改进算法研究与应用

针对Eclat算法在挖掘海量数据中的频繁项目集时存在的内存和计算资源不足等问题,将Eclat算法与目前流行的大规模数据集并行编程模型MapReduce结合,解决了Eclat算法在数据挖掘过程存在的瓶颈问题,运用于动车组故障诊断系统中,提高了关联规则挖掘的效率.     

基于新拟牛顿方程解决分类问题

逻辑回归和线性支持向量机是解决大规模分类问题的有效方法,然而它们的分布式实现问题到现在也没有得到更好的研究.近年来,由于分布式计算框架在迭代算法中低效率性的原因,一种基于内存的集群计算平台Spark已经被提出来,并正在成为应用于大规模数据处理和分析的一个普遍框架.在本研究中,使用了新拟牛顿方程用于解决逻辑回归以及线性支持向量机的问题,并且在Spark框架中进行了实现.实验表明该方法显著提高了大规模分类问题的准确性和效率.