具有双重检测机制的图像篡改检测算法

针对单一基于相关性的图像篡改检测算法难以同时解决虚警和漏检的缺陷,提出一种具有双重检测机制的图像篡改检测算法——第一重检测利用待测图像各区域的相机指纹是否与参考相机的指纹具有相关性来确定疑似篡改图像块;第二重检测从疑似篡改图像块中抽取特征,送到训练好的支持向量机(SVM),由基于图像特征的SVM对其分类,把误判块和真实篡改块区分开来.实验结果表明,该算法优于经典的单一基于相机指纹相关性的篡改检测算法.     

基于时序参数的重复数据删除索引优化技术研究

针对系统中存在的索引检索效率问题,提出了一种基于时序参数的快速索引优化算法,该算法通过时间参数和序数参数获取数据块的热度值,将高热度值的数据块指纹组合成了一个高优先度的快速索引.快速索引与主索引组成了重复数据删除中的两层索引结构,从而提高了系统的检索性能.通过实验验证了基于时序参数的索引优化算法的优越性.     

一种基于源端数据重删的数据备份和恢复系统设计与实现

针对当前源端数据重删技术中,数据重删效率低、计算指纹耗时长以及频繁操作数据库耗时的问题,设计并实现了一种采用基于源端数据重删技术的数据备份与恢复系统.系统通过在客户端预先将数据流进行分段并采用预处理环形队列进行存储,基于可变分块对数据段进行分块,整个处理过程并发执行,因此该预处理并发计算模块有效缩短了计算时间,而服务端通过用容器存放临近的数据块与索引信息,设计以容器为单位的多级缓存,明显提高缓存命中率.此外,通过使用布隆过滤器与多级缓存减少了数据库的操作频率.仿真实验表明该系统能有效提高数据备份与恢复效率.     

R-dedup：一种重复数据删除指纹计算的优化方法

为减缓存储系统中传统重复数据删除方法在高性能固态存储盘中存在的指纹计算性能瓶颈,提出了重复数据删除指纹计算的性能优化方法 R-dedup。在基于内容分块算法基础上,将切分后形成的所有数据块进一步切分为更小粒度的48B等长数据片。基于Rabin哈希长度小于原始数据、多个Rabin哈希同时发生碰撞概率极低、数据片的Rabin哈希可以重复利用基于内容分块算法在滑动窗口过程中产生的计算结果的基础,利用数据片的Rabin哈希替代原始数据,并将其作为数据块的SHA-1指纹输入,减少SHA-1函数数据计算量,提高指纹计算性能。选取Linux内核、Imagenet等5组具有代表性的数据集,对R-dedup和标准基于内容分块的重复数据删除方法在数据分块性能、指纹计算性能、索引表检索性能和I/O性能方面分别进行了比较。结果表明:R-dedup的数据分块性能、索引表检索性能、I/O性能与对比方法具有4%左右的误差波动,性能基本一致;R-dedup的指纹计算吞吐率是对比方法的165%～422%,总体吞吐率是对比方法的6%～54%。     

图形处理器上CSB~+-树索引的并行构建算法

为提高缓存敏感CSB+-树索引的操作效率,在图形处理器(GPU)上研究CSB+-树的并行构建和查询性能.通过分析索引树内部节点的每一键与对应叶子节点的映射关系,提出了一种一次性并行构建CSB+-树所有内部节点键值的无锁并行算法,以最大并行度来快速构建索引树.该算法通过设计GPU平台上支持CSB+-树的索引数据任意伸缩的动态数组来解决GPU上不能动态分配显存空间的问题,通过在索引内部节点的边界增加填充位来减少线程块的线程分支数,从而提高CSB+-树的查询效率.实验结果表明,文中所提算法的运行时间比基于单个节点和基于树层的并行算法分别提高了31.0和1.4倍.     

基于块更新序号的NAND闪存垃圾回收算法

传统NAND闪存垃圾回收算法的管理粒度为块,后续逐渐发展为基于页管理,以更大的内存消耗为代价来提高对数据热度判断的准确度。针对现有算法中存在的不足,提出了一种基于块更新序号的NAND闪存垃圾回收算法。该算法将管理粒度重新定位到块上,定义块的更新序号,提出新的基于动态阈值分段处理的数据热度计算方法以进行更有效的冷热分离,同时回收块选择策略采用新的代价函数以兼顾回收效率与磨损均衡。实验结果表明,提出算法在减少系统内存消耗的同时,获得了比GR、CB、CAT、FaGC、LRGC和LRGC+算法更好的垃圾回收效率和磨损均衡效果。     

关系型数据库数据的高效判重

对Simhash算法进行改进，用CityHash函数生成数据指纹特征值，以此对数据进行判重.在广州市某区政府的信访业务真实数据下进行了实验，实验结果相对其他算法具有较高的召回率和准确率.并提出了一种索引归类方法来提高全部数据一次性相似检测的速度，在MongoDB数据库存储指纹值的前提下，为增量数据的高效判重处理提供了保障．通过对数据的整个判重过程的改进，达到了高效、实用的价值，为科学办案、重复办案提供了参考依据．     

基于Gabor滤波大型指纹数据库构建研究

大型指纹数据库的广泛应用,使得记录数量的增长和检索效率的矛盾日益尖锐,这就需要建立一种多级索引指纹数据库.文章提出使用指纹纹形、脊线数目和基于Gabor滤波的指纹特征———指纹码构建多级索引指纹数据库和在此基础上检索多级指纹数据库的方法.通过实验数据对两级和多级索引指纹数据库作比较,并作算法性能分析.     

基于改进Simhash的虚拟机镜像去重方法

在云环境中,传统意义上的物理服务器正在逐渐被各式虚拟机所取代,云数据中心中托管的虚拟机镜像所占用的存储空间急剧增长,如何高效地管理这些镜像文件已成为云计算研究热点之一.由于虚拟机镜像内部存在大量空白重复数据块,这在一定程度上导致了镜像内部冗余率较高.其次,不同的虚拟机镜像可能运行了相同的操作系统和应用程序,使得镜像之间同样存在较多的重复数据.针对海量虚拟机镜像,传统的去重策略将产生巨大的时间开销,同时会消耗巨大的内存空间和CPU资源,影响数据中心的性能.提出一种基于改进Simhash算法的海量虚拟机镜像多级去重方法,将一个完整的镜像文件分割为操作系统镜像段和应用数据镜像段,同时提取各部分的特征值,利用DBSCAN(density-based spatial clustering of applications with noise)聚类算法完成对镜像段的分组,将相似度较高的镜像段聚为一类,从而将全局去重分解为规模较小且重复率较高的分组内部去重,实现了指纹索引数据完全存放于内存中的重复数据删除,大幅减少了磁盘I/O次数,达到缩短去重时间的目的.     

基于同态哈希函数和虚拟索引的动态云审计方案

为更好地实现云存储的数据完整性验证，解决云数据安全更新效率低的问题，提出一种基于同态哈希函数和虚拟索引的动态审计方案。首先对上传云服务器的数据进行盲化，以保护原始数据在云中的隐私；接着利用同态哈希算法对盲化后的数据进行签名，以便签名聚合的计算；然后利用虚拟索引实现对特定数据块快速查找和更新的同时，不对其他数据造成影响；最后，将提出的动态云审计方案扩展为批量验证方案，从而提高多用户场景下完整性验证的效率。理论分析表明，该方案是安全高效的。     

基于群智感知和非监督式学习的室内定位指纹库构建算法

针对指纹法定位中的指纹库构建耗费大量人力和时间的问题,提出了一种基于群智感知和非监督式学习的室内定位指纹库构建算法.首先利用群智感知的方式采集无线接入点的接收信号强度获取原始指纹数据集.然后针对原始指纹数据的冗余杂乱和指纹注释问题,提出基于学习向量量化(LVQ)和多维标度(MDS)结合的一种新颖算法FLM来解决.最终有效构建室内定位指纹库.最后基于射线跟踪模型(ray-tracing)建立仿真实验场景,仿真结果表明其指纹库建立效率得到显著提高,应用于基本定位算法的定位误差80%,在2.6,m以下,而且单次定位的计算量下降63%,.     

基于指纹块中主要脊和次要脊的方向场估计

针对方向场估计算法存在估计精度不高、计算时间开销过大的现象,提出一种基于指纹块中主要脊和次要脊的指纹方向场估计方法.它主要包括4个处理步骤：预处理原始指纹图像,利用上半邻域搜索算法提取指纹前景块中的主要脊和次要脊,利用脊的直线模型估计指纹前景块方向,以及采用修正方案提高方向场估计的精度.实验结果表明,该方法不仅具有令人满意的估计精度,而且拥有很高的计算效率;且具有很强的抗噪性能,能够有效提高指纹识别系统的性能.     

基于多分支树结构的电力缴费终端数据完整性验证方案

针对电力缴费终端存在管理人员操作不当和黑客攻击等行为导致数据损坏和丢失等问题,设计了一种基于多分支哈希树结构的数据完整性防护验证方法。该方法利用基于双线性映射的签名机制和多分支树结构的特性,通过使用随机掩码技术对分块的数据进行随机化处理,以确保数据的隐私性,采用多分支树形结构实现对数据块的快速认证和快速签名,并利用哈希树节点的哈希值验证数据块的完整性,引入验证服务器对数据分块进行批量验证和证据计算,并通过设置备份服务器完成对存储数据的备份处理。实验结果表明,该方案可以有效提高对存储数据完整性的批量检测效率,并降低终端和主服务器的计算开销,同时具有较小的计算开销和较高的安全性。     

BDCode:一种面向大数据存储系统的纠删码算法

针对含有大量数据的大数据存储系统,提出了一种基于编码技术的面向大数据备份的优化算法(BDCode).该算法通过对不同编解码服务器设置不同的虚拟节点存储组来保证系统的可用性,节点和数据块的并行解码计算提高了系统中数据损坏时的恢复效率.实验表明,所提出基于编码的大数据系统备份机制可以提高系统的存储利用率,并行解码方式的引入能加速减少数据损坏时的恢复时间,并能达到零号的系统负载均衡;此外不同的用户设置不同的编码参数,增加了大数据系统的鲁棒性.实验通过设置不同的数据块m和校验块k的比例来提升利用率,并行解码速度相比以前的串行提高近两倍.使用BDCode比CRS编码效率平均高36.1%,解码效率平均高19.3%;比RS码编码效率平均高58.2%,解码效率平均高33.1%.     

基于Gabor滤波器的自适应指纹增强算法

指纹增强的目的在于改善指纹图像的质量,进而提高指纹识别系统的性能.提出了一种基于Gabor滤波器的指纹增强算法,算法采用梯度法计算纹线方向,利用指纹图像子块的频谱分布特征计算纹线频率,通过计算图像方向一致性来自适应地调节Gabor滤波窗口的大小,再采用具有可变角度带宽的低通滤波器进行滤波,有效地提高指纹的纹理清晰度,较好地避免奇异点区域的块效应.实验结果表明,算法具有良好的图像增强效果.     

云环境下应用感知的动态重复数据删除机制

针对传统在线/离线重删对云存储系统中重删效率不高的问题,采用混合重复数据删除(Hy-Dedup)机制,通过融合在线和离线两种方式进行有效的数据重删。该方案在线重删阶段根据负载类型对指纹索引进行聚类分组,设置不同重删阈值来评估数据流的空间局部一致性,提高了缓存命中率;离线重删阶段采用延迟敏感的方法,对在线阶段缓存没有命中的重复块进行精确重删。通过这种混合方式在保持系统的I/O性能和吞吐量的前提下,显著减少了写入云存储的重复数据量。实验结果表明,与iDedup机制相比,Hy-Dedup机制可将在线重删率提高35.9%,磁盘空间需求减少41.36%,并且能够在云存储系统中实现高准确率的重删,提升重删效率,节省存储空间。     

并行MapReduce模型下的一种改进型KNN分类算法

大数据时代带来数据处理模式的变革,依托Hadoop分布式编程框架处理大数据问题是当前该领域的研究热点之一。为解决海量数据挖掘中的分类问题,提出基于一种双度量中心索引KNN分类算法。该算法在针对存在类别域的交叉或重叠较多的大数据,先对训练集进行中心点的确定,通过计算分类集与训练集中心点的欧式距离,确定最相似的3个类别,然后以余弦距离为度量,通过索引选择找出K个近邻点,经过MapReduce编程框架对KNN并行计算加以实现。最后在UCI数据库进行比较验证,结果表明提出的并行化改进算法在准确率略有提高的基础上,运算效率得到了极大提高。     

一种基于混合索引的HDFS小文件存储策略

Hadoop分布式文件系统(hadoop distributed file system,HDFS)因其稳定高效、低成本等优势,已被很多大型企业广泛使用.针对HDFS海量小文件存储时元数据服务器节点内存开销过大,合并文件中小文件访问效率不高的问题,提出一种改进的基于混合索引的小文件存储策略,应用分类器分类标记小文件,并在元数据服务器建立H-B+树索引,在存储节点根据小文件大小建立不同的块内索引,达到提高小文件访问效率的目标.实现中采用缓存结构,以提高客户端访问的响应速度,同时也有利于元数据服务器节点的内存负载.实验结果表明,基于混合索引的小文件存储策略能有效提高小文件访问效率,并显著降低元数据节点内存开销.     

基于BB-BM算法的网络协议内容符合性测试方法

为了检测网络通信协议的安全性,使用高效的模式识别方法对协议内容进行符合性测试.采用黑盒测试的方法,在检测端将协议服务器和检测模块分离,设计了协议安全性测试框架和测试流程;提出了以字节块为单位、分块计算摘要值再进行匹配的BB-BM算法.实验结果表明,使用该方法能够对网络协议按照内容种类划分值域空间,通过匹配算法进行符合性测试.在进行模式匹配时通过分块处理减少了模式串和目标串数量,从而导致跳跃距离增加,匹配次数减少,检测性能在最优和最差测试状态下较现有检测方法分别提高了20%和80%.在该测试框架下,以字节块为单位进行匹配有效提升了检测效率,适用于对字段格式固定的网络协议进行内容符合性测试.     

基于网页内容的网页消重高效检测算法研究

在对现有主流网页消重技术分析的基础上,提出一种基于网页内容的改进的网页消重高效检测算法.该算法通过利用网页的标签树结构选取最大的多个文本块,将这些文本块连接在一起生成一个代表该网页的MD5指纹,对指纹进行比较,确认近似网页实现消重,实验证明该方法对近似网页能进行准确的检测.