一种基于Hadoop的布鲁姆过滤器联结算法

通过对Hadoop平台下MapReduce作业处理方式及布鲁姆过滤器算法的深入研究,将优化的压缩型布鲁姆过滤器算法用于节点间数据联结操作,解决了基于Hadoop平台同时处理多个大规模数据集时的数据关联问题.实验证明,压缩型布鲁姆过滤器算法在MapReduce作业中的应用,使得大数据集之间的联结效率显著提高.     

基于Hash技术的IP数据包动态分流器的研究

针对当前高速网络安全产品在处理速率上的不足,提出了一种基于IXP2400网络处理器的高速数据包分流模型,并研究了基于Hash技术和LRU算法的动态数据包分流算法.仿真实验结果表明,所设计的动态数据包分流算法达到了千兆线速IP数据包分流的性能要求.     

一种基于位向量流分类算法的改进

在流分类算法中,聚合位向量(ABV)算法分类速度快、并行性好,但内存开销过大;位向量折叠(AFBV)算法对ABV算法进行了改进,降低了运行时内存的消耗,但其冗余计算增加了时间开销。针对上述不足,文章提出一种改进的位向量流分类算法,该算法无需进行位向量聚合,减少了内存开销,并按规则的源/目的IP地址前缀建立分组表,根据表中分组所包含IP地址数目降序排列,使得算法具有良好的时间性能。实验结果表明,本算法在大规模规则库下具有良好的时间和空间效率。     

基于布鲁姆过滤器的RFID中间件数据过滤算法设计

RFID（Radio Frequency Identification,RFID）中间件在RFID系统中起着承上启下的作用,数据过滤作为RFID中间件的核心功能,对其算法的研究一直是RFID领域研究的热点与重点。通过对现有过滤算法的分析,提出基于布鲁姆过滤器的数据过滤算法,鲁姆过滤器在空间和时间上有着更低的复杂度,并通过对布鲁姆过滤器算法的分析和仿真,选择了最优的布鲁姆参数,降低了算法的假阳性误判率。     

数据流重组中Hash-Splay查找算法

针对高速网络取证目前所面临的问题,围绕提高网络数据流重组效率,在数据流重组算法中分析比较了几种典型的查找算法,并将Hash表和Splay树组合成Hash-Splay查找算法.该算法首先建立Hash表,然后将所有的TCP连接结点分配到各个表项,每个表项用Splay树将该表项的所有连接结点组织起来.查找时,根据连接标识通过Hash函数计算出Hash地址,再对该Hash地址对应的Splay树进行查找,找到后按照Splay树的操作规则进行查找、插入和删除等操作.由于根据连接标识找到对应Splay树的时间开销很小,可以忽略不计,因此Hash-Splay算法的复杂度可以看作是每棵Splay树操作的平均复杂度,算法同时具有Hash表和Splay树的优点,查找效率比Hash表和Splay树的都高.     

基于代价敏感SVM优化组合算法的微钙化簇识别

微钙化簇是乳腺癌一个重要的早期发现,现有的检测技术为了达到高敏感性要求,产生很多假阳性数据.根据微钙化簇特点,提出一种整体和局部相组合的分类识别策略,并根据真假阳性样本错分代价的不同,使用代价敏感SVM方法进行分类学习.在构造分类器模型过程中利用粒子群进行分类器的参数优化及特征集合的选择,以提升分类学习的泛化能力.该算法在保证高敏感性的同时,降低了过多的假阳性数据,并删除了冗余和不相关的特征.实验结果表明,基于粒子群优化的代价敏感SVM组合分类算法提高了传统方法的识别能力.     

传感器网络中一种轻量级的安全重编程方法

针对无线传感器网络中无率码重编程协议现有安全方案开销过大的问题,提出一种分层Hash树(HHT)的认证方法,该方法由两层Merkle树组成,底层基于代码映像页构建多个小Hash树,并把这些树的树根聚合成根指纹以减小通信开销,然后以根指纹为叶子节点构造顶层Hash树以减小认证开销.对HHT方法的安全性进行证明,并应用该方法实现SReluge协议的页认证.实验结果表明:与Merkle树相比,HHT的认证开销有明显下降,同时降低了通信开销、构建开销和分发完成时间.     

面向连接的并发多路径转发算法

在分析数据流关系的基础上,通过动态链表给无连接的IP网络增加一定的面向连接的特性,并结合跨层的思想在IP层对TCP报文首部进行跨层操作,提出了一个面向连接的并发多路径转发算法(CCFA).CCFA通过动态链表统计的不同流的比例关系,对不同流的流量特征进行分类,在多路径上对不同流量进行分流转发.最后通过NS2仿真实验研究了不同转发粒度的特点及相关的应用场合,结果表明CCFA以一定的存储开销为代价,获得了较高的转发性能,提高了带宽利用率,降低了端到端延迟,而且本算法易于在下一代网络的可编程路由器中部署使用.     

改进果蝇优化算法及其在不平衡数据分类中的应用

类别不平衡数据的分类问题是数据挖掘及机器学习过程中的一个研究热点,基于代价敏感学习方法通常用于解决类别不平衡数据分类问题,然而,它在实际应用过程中通常因样本的误分类成本未知而受到限制.针对此问题,文中采用群体智能算法优化样本的误分类代价.果蝇优化算法(Fruit fly optimization algorithm,FOA)是一种全局优化群智能算法,该算法具有原理简单、调节参数较少、收敛速度较高等优点.本研究首先提出了一种基于动态调整寻优步长的果蝇优化算法;其次,利用此果蝇优化算法良好的全局和局部搜索性能,对类别不平衡数据中样本的误分类代价进行了优化;最后,将改进果蝇优化算法学习样本误分类代价的策略应用到乳腺组织数据集的分类研究中.实验结果表明,本算法对类别不平衡数据的分类结果较好,能够有效的识别正、负两类样,解决了因误分类成本的先验信息无法直接获取而使基于代价敏感的不平衡数据分类方法使用受限的问题.     

基于三维分档布鲁姆过滤器的Top-k查询算法

针对NRA算法和BPA算法查询效率不高、重复访问数据的问题,提出了一种基于三维分档布鲁姆过滤器表(TF)的Top-k查询算法(TKBFP).该算法使用TF对数据进行处理,以较低的误判率获得较高的访问效率并降低了内存消耗,利用最优位置索引策略,避免重复访问数据对象.对TKBFP算法进行了严格的语义定义,推导出每一维BF中需要的哈希函数个数;以自主开发的Java程序为仿真平台,对TKBFP算法进行了试验,并对算法执行效率和存储性能进行评价.试验结果表明,该算法能够避免重复访问数据对象,并能以较低的误判率实现大规模数据的高效查询处理.与NRA和BPA相比,当属性列表超过4个时,开销明显降低,适合面向大规模数据的查询处理应用.     

Minwise Hash动态双重阈值过滤器

结合二项分布和小概率原理进行理论推导,提出了Minwise Hash的动态双重阈值过滤器,将比对过程划分为多个比对点,并设置各比对点的动态阈值,过滤相似度低于下界阈值TL(k)的文档,输出相似度高于上界阈值TU(k)的文档.该提前过滤的方法减少了后续的比对次数,降低了工作量,并设计了多组实验,结果显示过滤器在选取了适当的参数时,计算时间仅为原Minwise Hash的31%或原b位Minwise Hash的36%,较大地提升了原算法的时间效率.动态双重阈值过滤器不仅能应用于Minwise Hash,也能用于它的变种算法(如b位Minwise Hash),乃至所有符合二项分布的估计子.     

基于混合粒子群算法的货位优化分配问题

基于COI分类存放的思想,同时考虑到货位分配问题中存取开销和占地花费的平衡,提出了一种混合粒子群算法以解决仓库货位优化分配问题．建立货位分配模型,并引入了货物的COI值对货物进行重新分类．将粒子群算法同人工蜂群算法相结合,通过优化COI值从而对货位进行优化分配．最后,进行实验分析并证明了混合粒子群算法的正确性,可有效地应用分类存放策对货位进行优化分配,减少货位数和存货代价．     

基于SVM的刻蚀工艺失效状态识别

针对反应离子刻蚀工艺,研究其状态监测与识别.采用主元分析(PCA)方法对原始数据进行降维,提取出有效的特征子集,再应用SVM建立失效状态的诊断识别模型,分析模型参数对失效状态的分类识别效果.采用主元分析法进行数据降维,从多监控量中提取影响最大的特征子集,再基于支持向量机(SVM)算法建立了失效状态的诊断识别模型,并分析了模型参数对失效状态的分类识别效果.研究结果验证了基于SVM方法的有效性,表明该模型具有高效的模式识别能力,可应用于存在小样本问题的其他半导体工艺状态分类和识别中.     

一种基于语音识别SoC调试的JTAG接口设计

在JTAG(jointtestactiongroup)工业标准的基础上,采用了一种基于语音识别SoC(SystemonChip)调试的JTAG接口设计.该设计以求用最少的硬件开销,最简单灵活的方式,支持寄存器查看和设置、IP核程序流跟踪、代码覆盖率检查、代码分析、IP核扫描测试等功能.该设计已经应用于以OpenRISC为核心的语音识别SoC设计平台上.     

用于高速网络入侵检测系统的并行TCP/IP协议栈

随着网络应用层内容检测技术的速度提高到10Gb/s的数量级,底层的TCP/IP协议栈已经成为制约网络入侵检测系统的检测速度的新瓶颈。该文的前期工作采用64位指令、并行计算指令和操作系统内核数据映射等软件硬件系统特性来优化TCP校验码计算、TCP连接表Hash值计算和内核态到用户态的数据复制等性能瓶颈。在此基础上,该文进一步研究了连接表Hash值计算、半开连接过滤和并行化问题,采用通用Hash(universal Hash)函数作为TCP连接表查找的Hash函数,以避免算法复杂度攻击,并利用SSE(streaming SIMD extensions)指令集中的并行指令来提高计算速度;采用Bloom过滤器过滤TCP半开连接;使用多次加载动态链接库(DLL)的方法,利用并行化获得更高的吞吐率。实验表明:经过上述改进后,使用3个处理器核心的TCP/IP协议栈,对平均包长110 B的攻击流量能达到4.4 Gb/s的吞吐率,对平均包长501 B的正常流量能达到15.2 Gb/s的吞吐率,达到原始系统的4倍以上,比该文前期工作的结果提高了50%到70%。     

基于分组光纤被动星型网的FFT算法及其选路

通过分析两类特殊置换———组内置换和组置换的特征 ,利用这两种置换存在无冲突路由算法的特性给出了FFT运算在分组光纤被动星型网上的实现及其路由算法 .在适当分组的情况下 ,本算法在n个处理器的分组被动星型网上计算n点FFT的总通信开销为T =2logn 1个时间片 ,此时硬件上需要n个连接器和 2n n个发送器和接收器 ,算法的时间代价和硬件代价平衡 ,算法性能达到最优 .     

基于可靠性理论的专利失效模型研究

授权专利失效的比例和速率可以反映出某个实体的专利质量和对专利运营维护的重视程度,研究专利失效的规律对推进我国专利质量工程建设和知识产权强国战略实施,具有重要意义。关于失效专利的现有研究缺少较好的理论模型,因此有必要对专利失效的模型进行研究。文章在总结现有研究中失效专利统计分析指标与方法不足的基础上,设计跟随式专利失效率计算方法,基于可靠性理论构建服从指数分布的专利失效模型,同时引入专利失效系数和半衰期测度指标来反映专利失效速率。通过某机构的实证研究显示,所构建的专利失效模型方法和测度指标能够有效地揭示该机构授权专利失效率动态变化的过程,可以反映不同批次授权专利失效的速率差异,可以反映同一批授权专利后续不同阶段的失效状况,还可以作为机构专利质量评价和政策效用评估的有力补充。     

基于多信息融合的失效DPM码识别

针对复杂生产流通过程中,传统算法无法对因防护不当和磨损污染等原因造成的金属刀具表面二维条码缺损和磨损等失效问题进行定位和识别的缺陷,设计了一个基于多信息融合的失效条码识别系统,完成刀具产品的识别和条码信息的提取.该系统利用图像传感器和重量传感器对刀具形状、残余条码纹理和重量等特征进行量化,提取高维特征向量.通过支持向量机与证据理论相结合,实现对失效条码的分类识别.实验结果表明,该系统能够对条码存在污损的刀具进行准确、快速地分类和识别,满足实际生产中的要求.     

基于HMAX模型的仿生人脸识别算法

为了提高人脸识别效率,减小特征提取的时间消耗,本文提出一种基于改进HMAX模型的类脑识别算法,通过模拟生物视觉皮层的信息处理机制,构建了一个五层结构的分层网络用以提取目标图像的不变特征并进行识别.在S1层应用小波分解模拟视皮层V1简单细胞对目标图像进行滤波;在C1层进行特征提取,采用SVDP算法代替标准HMAX模型中的最大值操作,得到对光照、表情、姿态不变性的代表特征;最后,在VTU层对人脸图像进行分类.实验表明,改进后的算法在对样本进行识别时,能够有效降低特征提取的时间开销,同时也提升了识别效率.     

代价敏感多主题学习的邮件过滤算法

针对传统邮件分类模型中较少对邮件主题进行描述和分析的问题,提出一种代价敏感多主题学习的邮件分类算法,用以实现垃圾邮件过滤.首先,基于LDA(潜在狄利克雷分布)对邮件的多个主题进行提取,对邮件语义进行描述;其次,利用CS-SVM(代价敏感支持向量机)对邮件进行代价敏感学习,实现对不同类别邮件的惩罚;最后,结合MI-SVM(多示例支持向量机)进行代价敏感的多主题学习,实现邮件分类.实验采用四组ling-spam处理数据集.实验结果证明:该分类算法较比传统邮件分类算法,可以取得更高的准确性、特异性与敏感性.