基于MapReduce的两表数据倾斜连接的优化算法

针对Range partition算法不能优化数据集严重倾斜情形下的两表连接效率问题, 提出一种改进的数据倾斜连接算法. 该算法将倾斜数据和非倾斜数据区别处理, 利用复制、 广播方法将数据发送到每个Reduce节点, 通过一轮Map/Reduce任务完成所有的连接操作, 可有效均衡每个Reduce处理量, 解决了数据严重倾斜对两表连接性能的影响. 与传统的分区连接算法比较结果表明, 该算法有效.     

面向海量数据的并行KMeans算法

针对海量数据的特性及KMeans算法的并行特性,提出了一种基于MapReduce编程框架的并行聚类算法,给出了算法的主要设计方法和策略.Map函数计算出每个记录所属的簇并用簇标号来标记;为了减少网络流量,利用Combine函数合并了本地的簇中的样本和;Reduce函数合并簇中所有的记录,并重新计算聚类的中心,供下一轮MapReduce迭代使用.最后用不同大小的数据集对改进算法的效率及伸缩性进行了验证,结果表明基于Hadoop的并行KMeans算法适合于海量数据的分析和挖掘.     

一种基于Map Reduce的关联规则挖掘算法

提出了一种基于Map Reduce模型的Apriori改进算法,该算法利用Map Reduce模型分布式处理海量的输入数据,结合Apriori算法,得到局部频繁项集,通过聚合处理得到全局频繁项集.实验证明,该算法是有效的.     

一种基于MapReduce的关联规则挖掘算法

本文从减少I/O时间的角度出发,结合云计算Hadoop平台的Map Reduce模型,提出了一种基于Map Reduce的关联规则挖掘算法.算法采用幂集计算候选项集,采用Map Reduce模型在多个节点上并行找出所有频繁项集,只需要扫描事务数据库1次.实验结果表明：在事务的平均项长较小的情况下,算法具有很好的加速比和数据规模增长性.     

一种AES-CCM128bit硬件加密器的优化设计

介绍了一种基于FPGA的AES-CCM 128bit硬件加密器的优化设计方法.阐述了AES(高级加密标准)算法以及CCM工作模式,分析了AES算法的轮变换结构,并提出S-hox查表结构和MixColumns(列混合运算)的VHDL语言程序设计思想.建立了ExpandedKey(密钥扩展运算)的数学模型,概括出AES算法的硬件实现方法,使得每一轮的轮变换与密钥扩展运算并行执行,以提高AES的加密速度.CCM工作模式结合了CTR与CBC-MAC工作模式,其加密明文或解密密文时都使用AES加密运算,这样解密过程就避免了繁杂的AES的直接解密运算.CCM模式下的简化加密协议,使用两个AES加密内核并行执行CTR与CBC-MAC工作模式以提高该模式下的加密解密速度.     

一种将AES和SSL结合的数据加密算法

分别介绍了高级数据加密标准AES与网络通信加密协议SSL的原理,基于AES算法的性能分析,结合SSL协议身份鉴别、授权认证的优势,将AES与SSL相结合,提出了一种适合于网络实时数据传输安全的新的数据加密算法.最后,重点阐述了该算法的原理及实现过程,并通过测量数据加密传输的网络延时证实:AES与 SSL相结合的混合加密算法在实现授权认证功能、安全密钥传输的基础上,仍继承了 AES算法的实时性,是远程实时数据安全传送的理想算法.     

物联网密文数据访问中可撤销的混合加密控制算法设计

针对物联网密文数据访问中用户隐私数据的安全性与数据应用操作效率要求之间的矛盾问题,提出一种新的可撤销的混合加密控制算法。介绍了对称加密算法,根据物联网密文数据访问中用户录入的指纹,通过数据特征提取过程、模板生成过程以及密钥生成过程生成可撤销密匙。介绍了公钥加密算法,给出物联网密文数据访问中公钥加密算法加密过程。对对称加密算法和公钥加密算法的性能进行对比,将二者结合在一起形成可撤销的混合加密控制算法。将椭圆加密算法和AES加密算法作为对比进行测试,结果表明所提算法效率高,对明文和密钥有较高的敏感性。     

k-means聚类算法的MapReduce并行化实现

针对k-means聚类算法特点,给出了MapReduce编程模型实现k-means聚类算法的方法,Map函数完成每个记录到聚类中心距离的计算并重新标记其属于的新聚类类别,Reduce函数根据Map函数得到的中间结果计算出新的聚类中心,供下一轮MapReduce Job使用.实验结果表明:k-means算法MapReduce并行化后部署在Hadoop集群上运行,具有较好的加速比和良好的扩展性.     

Hadoop平台下MapReduce模型的数据分配策略研究

针对Hadoop开源云计算平台下MapReduce并行编程模型中间数据分配不均衡的问题,提出基于抽样的改进型MapReduce模型,即SMR(Sample MapReduce)模型.SMR模型采用MapReduce作业方式对各分块数据集进行并行抽样,基于抽样结果,利用LAB(leen and balance)均衡算法对Map端输出的中间数据进行均衡分配,以改善Reduce端处理数据负载不均衡问题.实验结果表明:改进型MapReduce模型可以有效减少作业运行时间,Reduce端输入数据达到负载均衡.     

云环境下基于同态加密算法的朴素贝叶斯分类器

针对云环境中隐私数据的安全性问题,提出一种在云环境下对加密数据进行计算的模型,包含密文乘法算法、密文比较算法和密文对数算法三种密文计算算法,并将其应用到朴素贝叶斯分类器中．首先,将密文通过同态加密算法增加随机的扰动项,发送给云计算中心;然后,云计算中心在不泄露私钥的情况下,将添加随机扰动的密文数据解密为明文数据,对明文数据执行相应操作后,加密发送给云存储组件,当解密添加随机扰动的数据时不会暴露真实明文数据;接着,云存储组件通过同态加法消除随机扰动的影响,得到所需数据;最后,将密文计算算法应用在朴素贝叶斯分类器中,实现对加密文本数据的分类．实验结果表明：密文计算模型的效率有较大的提高,且该模型将大量计算放在云环境中,可以减轻客户端压力,充分利用云环境中的资源．     

基于AES算法的敏感数据库智能加密方法研究

为了提高敏感数据库存储信息安全性,需要进行敏感数据库智能加密设计,提出基于AES算法的敏感数据库智能加密方法,构建敏感数据库信息加密的安全密钥,采用算术编码设计方案进行敏感数据库存储信息的自适应特征分类和向量量化编码设计,在高级加密标准协议(AES)下进行敏感数据库存储数据加密的循环码重构和分组加密设计,构建加密和解密密钥,将敏感数据库智能加密循环码译码的明文进行特征分块重组,采用随机抽样方法进行敏感数据库存储信息的样本空间重构,结合密钥协商校验和椭圆线性编码方法,实现高敏感数据库存储的多层加密设计。仿真结果表明,采用该方法进行敏感数据库存储信息加密的抗攻击能力较强,加密的安全性较好,提高敏感数据库存储的安全性。     

基于MapReduce模型的大数据相似重复记录检测算法

针对大数据来源多、维度高和体量大的特点,提出一种云环境下检测大数据相似重复记录的并行算法MP-SYYT.利用汉语词法分析技术、德尔菲法以及词频-逆向文件频率算法对传统的SimHash算法进行改进,以解决算法中关键词提取速度慢、精度和权重计算精度低的问题;利用倒排索引算法对传统SimHash算法进行优化,以提高其相似重复记录的匹配效率;利用所提MP-SYYT算法在云平台上定义Map函数和Reduce函数,并用MapReduce模型在云环境下实现了大数据相似重复记录的并行检测和直接输出;在Hadoop平台上进行实例分析,以验证MP-SYYT算法的高效性和实用性.     

ASP.NET中DES算法加密与解密的应用

以ASP.NET页面数据安全为基础,通过最常用的DES加密,编写可以复用的加密解密函数。与其他技术相比较,.NET简单易实现,为数据加密提供了方便,.NET Framework有效封装了常用加密算法。通过调用自定义函数实现对Web页面指定数据信息的加密与解密,方法简单,运算速度较快,适应于大多数Web站点中的数据信息安全,最后提出可替换加密强度更大的AES加密技术以及其他加密方法。     

新的加密标准AES的研究和实践

AES是一种新的加密标准,本文介绍了5种AES的候选加密算法,然后对中选AES标准算法Rijndael的加密原理、加密过程、函数定义、密匙扩展过程、解密过程进行研究并作了具体的实践.     

基于云计算的并行k-means算法研究

针对传统k-means聚类算法面对海量数据存在时间复杂度急剧增加的问题,结合云计算的优势,提出基于MapReduce编程框架来实现k-means聚类算法的并行化处理。Map函数完成每个样本记录到聚类中心的距离计算并标记其所属聚类类别,Reduce函数汇总中间结果并计算出新的聚类中心,供下一轮迭代使用。通过实验表明:基于MapReduce的并行化k-means聚类算法具有较好的加速比和良好的扩展性。     

一种改进的概率密码方案的构建与分析

概率公钥密码体制能有效解决确定型公钥密码体制存在的敌手采用选择明文攻击安全性问题;RSA公钥密码体制在应用于长消息数据的加密时,存在着加解密计算效率较低,时间开销大的问题。通过分析2种密码算法的基础,本文提出了一种概率密码方案,该方案在加密与解密时大大减少了计算时间的开销,又能抵御选择明文攻击,特别适合于长消息数据的加密与解密。     

基于AES算法和改进ECC算法的混合加密方案

高级加密标准(AES)和椭圆曲线密码算法(ECC)是对称加密技术和非对称加密技术中的重要算法.首先对AES算法和ECC算法进行了讨论,在对影响ECC算法效率的因素模逆操作进行了改进,提出基于AES算法和改进ECC算法的混合加密方案.该方案具有运算速度快,安全性能高的优点,具有很好的实用性.     

基于AES与ECC的混合型数字签名

本文分别对AES和ECC算法的数学模型进行了讨论.结合两种算法优点,利用AES算法对原文加密,利用ECC加密管理密钥实现数字签名,设计了一种基于AES与ECC的混合型数字签名方案.该方案拥有运算速度快、安全性高的优点,又拥有椭圆公钥体制在密钥分发方面的优点,有较的实用性.     

基于大数据的稻田智慧管理平台设计研究

通过分析当前我国稻田管理存在的问题,提出利用MapReduce算法模型,分别对Map函数、Combine函数、Reduce函数进行设计,构建具有综合管理、实时预警、多维感知、预测分析的大数据平台架构.从数据采集、数据分析、智能控制三个关键环节,对稻田智慧管理平台进行设计.该平台将对现有稻田管理业务形成有力支撑并创新建立科学高效的稻田管理业务模式.     

基于自适应指数蝙蝠和SAE的并行大数据分类

为解决深度学习进行大数据分类时效率低的问题，本文提出一种基于自适应指数蝙蝠和堆叠自编码器(SAE)的并行大数据分类方法.在并行计算框架中，Map阶段使用自适应指数蝙蝠算法进行特征选择，自适应指数加权移动平均值蝙蝠算法(AEB)由指数加权移动平均值(EWMA)和自适应权重策略得到.将选择的特征作为Reduce输入进行大数据分类，Reduce阶段使用AEB算法训练的深度堆叠自动编码器(SAE)进行分类，进一步提高了分类精度.实验结果表明，针对不同的训练数据百分比，本文所提方法在准确度和真正例率(TPR)性能方面优于其他现有方法.