用Hash表技术实现快速流分类

Hash表技术是流分类的常用方法之一,用Hash表技术实现快速流分类的关键问题是降低冲突率,提高冲突解决的效率.该文通过提出几个新的概念(如发散、最佳流分类比特和相似比特等)来降低冲突率,通过提出查找树方案来提高冲突解决的效率,从而得到了一种能适应进行任意域流分类工作的、高效的流分类哈希(Efficient Packet Classification Hash,EPCH)表技术方案.仿真试验证明:该方案冲突率低、效率高,值得推广.     

基于二维表的对象存储元数据管理

大多数存储系统采用Hash算法或目录子树分区算法来实现元数据在元数据集群内的存储,但是上述算法在元数据修改、删除等操作时系统开销较大,严重影响了系统的性能。文章通过引入二维表存储元数据信息,提出了一种新的存储策略。该策略通过使用二维表、数据库存储过程和特定的递归算法实现了元数据存储。实验结果证明该策略具有良好的存储性能。     

THCAS:内容存储系统及其性能优化

为实现开源的基于内容存储系统及性能优化,以应对固定内容数据存储的急速增长而带来的对这种存储系统结构的广泛需求,该文设计并实现了清华大学的基于内容存储(THCAS)系统,并对系统性能进行了分析和评价,在此基础上,提出了多线程Hash和存储流水线2种基于内容存储的优化方法。在正常操作系统I/O Buffer和去掉异步I/O 2种情况下,将优化后的系统与原系统的写数据吞吐率和CPU使用率进行测试比较,优化后系统在2种情况下均提升了原系统的写数据性能,多线程Hash提高了150%,而存储流水线提高了25%。     

跨云存储环境下协同的动态数据持有方案

为了认证跨云环境下用户数据的完整性,该文提出了一种协同的动态数据持有CDDP(cooperative dynamic data possession)方案。首先,利用分层Hash索引技术,将多个云存储服务提供商的响应消息聚合为一个消息,通过云存储服务提供商、组织者和可信第三方之间的交互通信实现了数据的持有性认证。其次,通过对Hash索引表(indexHash table)中只涉及更新数据块的索引记录和标签信息的更新,实现了数据修改、数据插入和数据删除等用户数据的动态更新。结果表明:该方案降低了计算时间,具有完备性和抵抗伪造攻击等属性。     

基于内容存储系统及其性能优化

为实现开源的基于内容存储系统及性能优化,以应对固定内容数据存储的急速增长而带来的对这种存储系统结构的广泛需求,本文设计并实现了清华大学的基于内容存储(THCAS)系统,并对系统性能进行了分析和评价,在此基础上,提出了多线程Hash和存储流水线2种基于内容存储的优化方法。在正常操作系统I/OBuffer和去掉异步I/O2种情况下,将优化后的系统与原系统的写数据吞吐率和CPU使用率进行测试比较,优化后系统在2种情况下均提升了原系统的写数据性能,多线程Hash提高了150%,而存储流水线提高了25%。     

用于高速网络入侵检测系统的并行TCP/IP协议栈

随着网络应用层内容检测技术的速度提高到10Gb/s的数量级,底层的TCP/IP协议栈已经成为制约网络入侵检测系统的检测速度的新瓶颈。该文的前期工作采用64位指令、并行计算指令和操作系统内核数据映射等软件硬件系统特性来优化TCP校验码计算、TCP连接表Hash值计算和内核态到用户态的数据复制等性能瓶颈。在此基础上,该文进一步研究了连接表Hash值计算、半开连接过滤和并行化问题,采用通用Hash(universal Hash)函数作为TCP连接表查找的Hash函数,以避免算法复杂度攻击,并利用SSE(streaming SIMD extensions)指令集中的并行指令来提高计算速度;采用Bloom过滤器过滤TCP半开连接;使用多次加载动态链接库(DLL)的方法,利用并行化获得更高的吞吐率。实验表明:经过上述改进后,使用3个处理器核心的TCP/IP协议栈,对平均包长110 B的攻击流量能达到4.4 Gb/s的吞吐率,对平均包长501 B的正常流量能达到15.2 Gb/s的吞吐率,达到原始系统的4倍以上,比该文前期工作的结果提高了50%到70%。     

OLAP聚集计算中的维存储技术

为解决传统行存储结构导致OLAP聚集计算效率低下的问题,设计了基于维存储的OLAP数据存取技术.首先,将OLAP事实表中的维属性集和度量属性集定义为2个列族,每张维表的所有属性定义为1个列族.对维表进行二进制编码,生成维层次编码,从而保持了维的层次语义特性.以(维层次编码,度量值)对形式按列组织数据,消除查询时维表与事实表的复杂连接操作运算.然后,采用自底向上方法构建B+树,对维层次编码进行索引,加快了数据读取效率.通过增删事实表和维层次编码-度量表中相应的列,实现维和度量的增加和删除.性能分析结果表明,这种OLAP数据存取技术具有良好的可扩展性,能高效地管理和存取OLAP海量多维数据,有效支持上层OLAP聚集计算.     

THCASN——一种基于内容存储区域网络

基于内容存储(CAS)是一种可用于保存内容不变数字记录的存储设备。为解决CAS在安全和性能上的问题,该文介绍了清华大学实现的基于内容存储区域网络原型——THCASN,遵从对象存储设备标准OSDT-10,提出一个分析I/O路径上开销的性能评价模型,找出系统性能瓶颈是对象内容Hash值计算和Hash-元数据变换表搜索。THCASN、NFS和iSCSI存储器性能测试结果表明其性能是接近的,但THCASN写性能高出一倍。实验结果与评价模型对性能瓶颈的分析相符。     

THCASN——一种基于内容存储区域网络

基于内容存储(CAS)是一种可用于保存内容不变数字记录的存储设备。为解决CAS在安全和性能上的问题,该文介绍了清华大学实现的基于内容存储的区域网络原型——THCASN,遵从对象存储设备标准OSDT-10,提出一个分析I/O路径上开销的性能评价模型,找出系统性能瓶颈是对象内容Hash值计算和Hash-元数据变换表搜索。THCASN、NFS和iSCSI存储器性能测试结果表明其性能是接近的,但THCASN写性能高出一倍。实验结果与评价模型对性能瓶颈的分析相符。     

一种大域数据流中缺失值的填充方法

在网络流量监控等数据流应用场景中,数据流中的IP地址等属性的值域往往很大,对于连续到达的数据流,管理系统一般不存储全体数据集,而是维护一个较小规模的数据概要.对于这类大域数据流中的缺失数据,难以采用邻近值填充等传统方法进行填充,也不能轻易删除.最小计数概要是一种轻量级的数据流概要,适合大域数据流的概要维护.本文基于最小计数概要及其维护技术,提出最小频率概要,并根据这两种概要填充大域数据流中的缺失数据.该填充方法首先设计一组两两独立的Hash函数族,将一段时间内大域数据流的属性值(如网络流量)映射并累加到非大域二维表数据结构中,形成大域数据流的计数概要(如一段时间内网络总流量),与此同时,在二维表中存储计数概要伴随的频率概要(即数据流到达次数,如数据包的个数),然后根据最小计数概要与最小频率概要之比对大域数据流的缺失值(如某个数据包的流量)进行填充.采用模拟大域数据集在通用软硬件环境下进行大量实验,结果表明,基于最小计数/频率概要的填充方法可获得较高的精度,而且填充误差随数据属性值定义域的变化呈非单调性变化,另外,随着数据量的增加,填充误差虽然越来越大,但是变化越来越缓慢,最终趋于一个稳定值.对于给定误差参数ε...     

加快最小完善Hash函数形成过程的几个有效措施

在用于静态表的各种Hash函数中,一种独立于计算机的最小完善Hash函数颇有实用价值。在一定条件下,这种Hash函数可以同时实现探查次数为1和表的填充系数为1这两个要求。使用此种Hash函数的主要困难是函数的形成速度比较慢。Cichelli提出用两次排序来修剪搜索树,用回溯方法来寻求形成Hash函数的编码表。本文提出用第三次排序进一步修剪搜索树;提出用双自变量定界法和超前检查法来加快搜索速度。文中还介绍了综合使用以上三种方法研制成功的一个通用处理程序,并给出若干计算实例。     

二维Hilbert曲线构造与绘制

Hilbert是一种经典的空间填充曲线，具有严格的自相似性，可以将他划分成一些很小的单元，只是方向不一。且具有良好的空间聚集特性，应用也很广泛，譬如在图像置乱加密，数据压缩，数据索引编码等。Hilbert曲线比其他的填充曲线如Z-Ordering、Gray更能保持原始数据的性能。因此详细了解Hilbert曲线原理并使用一种自己熟悉的计算机语言来绘制Hilbert有很大的意义。因此，该文主要介绍二维Hilbert曲线的构造及原理并用C#编程语言将它实现。     

基于哈希表的动态向量降维方法的研究及应用

提出并实现了一种简洁的基于哈希表的动态向量降维方法.该方法用哈希表作为文档特征向量的存储数据结构,省去了预先构建向量模板的环节,实现了高维次稀疏特征向量的动态降维,有效减少了分类算法的数据计算量,能够显著提高分类器的性能.     

一种面向查询的无线传感器网络混合型数据存储算法

提出了一种面向数据查询的混合型的数据存储算法,将数据存储在合适的位置。通过分析采集、存储、查询节点之间的位置关系,存储模式可在集中存储和分布存储之间相互切换。本算法引入了"热点"保护机制,可有效均衡网络能耗。实验结果表明,该算法的能耗均衡性、节点能耗、生命周期和丢包率相比于GHT(Geographic Hash Table)算法有一定的改善。     

基于B^＋树的复杂生态信息存储结构模型

针对复杂生态信息的存储与管理问题,提出一种基于B 树的多维层次聚集立方体存储结构模型。通过将d维数据空间构建成多维层次式B 树,并节点进行压缩的二进制维层次编码,在此基础上实现了模型的快速查询、数据更新与模式更新算法。与传统的Data Cube相比,MH-Cube具有较好的查询与更新功能。生态数值实验表明,模型可为复杂生态信息的存储与管理提供较好的解决方案。     

基于谱聚类和矩阵分解的改进协同过滤推荐算法

针对传统的协同过滤推荐算法存在数据稀疏性、冷启动,影响推荐结果的准确性等问题,提出了一种改进的协同过滤推荐算法。使用基于随机梯度下降优化求解的矩阵分解方法,将原始矩阵分解为较低维的用户特征矩阵和特征产品矩阵;引进产品外部属性信息,运用谱聚类算法对产品聚类,构建属性—特征之间的映射关系,填充特征产品矩阵。所提出的算法不需要对原始评分矩阵进行数据填充,相较于传统的固定值填充方法,不需要系统提供大量的空间存储评分矩阵,并且在评分预测过程中采用降维技术,可以有效地缓解数据稀疏性对推荐结果准确性的影响。     

层叠式并行图像Hash函数的结构及其算法实现

传统Hash函数采用链式结构,不能充分利用图形和图像的二维特征来提高处理速度,更难以支持并行计算。为克服这2个缺点,提出了一种Hash函数结构,其在并行计算平台上的时间复杂度仅为o(logn)。分析了该结构相关的基本问题,并设计了在该结构下基于细胞神经网络实现的Hash函数。实验结果表明该Hash函数具有优异的敏感性、随机性和抗碰撞能力。     

基于Content-Addressable Network的对等网络研究

CAN(Content-Addressable Network)是基于分布式哈希表(Distributed Hash Table,DHT)的结构化对等网络.CAN系统通过分布式哈希表(DHT)在d维虚拟空间中搜索、共享资源,具有良好的可扩展性,容错性和完全自适应性.本文从网络架构,系统性能等方面综合介绍了CAN系统并对2种基于子空间策略CAN资源搜索算法进行了介绍和分析.     

一种FP-growth的改进算法

FP-growth是关联规则挖掘中一种效率较高的算法,它不产生候选集,但仍需多次遍历结果集L.针对此问题提出了一种基于Hash表的改进算法HFP-growtH(Hash FP-growth).该算法将结果集L的数据以项名称对应项支持度计数的形式存入Hash表,在找某个项的支持度计数时给Hash表传入项名称直接返回对应的支持度计数,改变了以往多次遍历结果集L的方法,从而节省了遍历时间,提高了挖掘效率.实验结果表明,改进后的算法性能明显优于原算法,并将其应用于名智网上招聘系统之中.     

一种基于Hash链的分级授权加密方案

电子政务信息共享要求对信息资源实行分等级访问,传统的加密体制无法实现分级这一特性,而Hash链的单向性给分级的特性提供了良好的素材。该文提出一种基于Hash链的分级授权加密方案,利用Hash函数的单向性构造具有分级的密钥链,使用不同级别的密钥加密不同等级的资源,从而实现信息的分等级访问。