基于Spark的大规模文本KNN并行分类算法

在使用KNN算法进行大规模文本分类,需要处理频繁的迭代运算,针对现有Hadoop平台迭代运算效率较低的问题,本文提出一种基于Spark平台的并行优化KNN算法.主要从3个方面对算法进行优化,首先,对于训练数据集通过剪枝算法控制有效数据的规模,从而减少迭代运算的次数;其次,针对高维数据集采用ID3算法利用信息熵进行属性降维,减少文本相似度的运算量;最后,使用Spark并行计算平台,引入内存计算最大限度地减少了迭代运算的I/O次数,提高处理速度.通过实验,与常用的KNN算法相比,基于Spark的KNN文本并行分类算法在加速比、扩展性等主要性能指标上表现较优,能够较好地满足大规模文本分类的需求.     

基于Spark的改进K-means快速聚类算法

针对大数据环境下聚类算法所处理数据规模越来越大、对算法时效性要求越来越高的问题,提出一种基于分布式计算框架Spark的改进K-means快速聚类算法Spark-KM.首先针对K-means算法因初始聚类点选择不当导致局部最优、迭代次数增加而无法适应大规模数据聚类的问题,通过预抽样和最大最小距离相结合对K-means算法进行改进;然后对原始数据进行矩阵分割,并存储在不同的Spark计算框架的结点当中;最后根据改进的K-means算法,结合分布式矩阵计算和Spark平台进行大数据快速聚类.结果表明,文中算法可以有效减少结点间的数据移动次数,并具有良好的可扩展性.通过该算法在单机环境和集群环境的对比测试,说明该算法适用于大规模数据环境,且算法性能与数据规模成正比,集群环境较单机环境也具有很大的性能提高.     

基于Spark的并行ISOMAP算法

为了实现大数据环境下非线性高维数据的降维,提出了基于Spark的并行ISOMAP算法.在该方法中,为了快速求解大规模矩阵的特征值和特征向量,设计并实现了基于Spark的并行块Davidson方法;同时,针对大规模矩阵计算和传输困难的问题,提出了基于RDD分区的行块式矩阵乘法策略,该策略把每个分区中的矩阵行转换成块矩阵,行块式矩阵可不受map算子对RDD逐条计算的限制,并可以利用Spark中的线性代数库参与矩阵级别的运算.实验结果表明,行块式矩阵乘法策略有效提高了矩阵运算的效率,并行块Davidson方法能够快速求解大规模矩阵特征值和特征向量,有效提高了并行ISOMAP算法的性能,表明并行ISOMAP算法可以适应大数据环境下的降维处理.     

基于Spark的ISOMAP算法并行化

为了实现大数据环境下非线性高维数据的快速降维,提出了一种基于Spark的并行ISOMAP算法.在该算法中,为了快速构建邻域矩阵,设计并实现了基于精确欧式位置敏感哈希的近邻搜索并行算法;为了实现特征值的快速求解,设计并实现了基于幂法和降阶法交替执行的特征值求解并行算法.为了进一步提高算法的性能,基于Spark的特性,利用Spark的稀疏向量、广播机制和缓存机制对并行ISOMAP算法进行了优化,减少了计算过程中的内存消耗和数据传输.在Swissroll数据集和S-curve数据集上的实验结果表明,基于Spark的并行ISOMAP算法通过并行执行和计算过程的优化,极大地提高了算法的执行效率,能够适用于大规模数据集的降维处理.     

基于Spark的EIDA-BP算法对农作物产量的预测

在大数据环境下,为了提高农作物产量预测精确度和运算速度,提出首先基于Spark框架下处理海量数据方法,提高大数据处理速度。然后,运用上代精英位置组合策略实现个体增强优化DA算法(即EIDA算法),使DA算法摆脱收敛早熟困境,再利用EIDA很强的全局搜索能力帮助BP算法找出最佳初始化权值和阀值,避免其陷入局部极小值,提高BP算法精确度。实验结果表明:基于Spark框架下的EIDA-BP算法的农作物产量预测,不管是速度还是精确度都比其他类型的BP神经网络预测的高。     

基于Spark平台的大数据挖掘技术分析

由于大数据具有其自身的独特性,即数据量大、多样性突出,所以在进行大数据分析时,在处理速度、效率和实时性等方面要求都非常高。而数据挖掘技术主要就是从大量数据中基于建模算法,寻找在数据中所隐藏的信息,以此促使大数据的价值得以充分发挥。Spark平台是一个针对超大数据集合的低延迟集群分布式计算系统,利用其进行大数据挖掘与分析更具优势。据此,本文主要对基于Spark平台的大数据挖掘技术进行了详细分析。     

基于Spark的大规模社交网络社区发现原型系统

 为有效发掘大规模社交网络上的用户信息，提高对用户之间关系的深入了解，设计开发了基于Spark的大规模社交网络社区发现原型系统。系统利用ActiveMQ实现对大量用户数据的抓取，使用基于Spark的MLlib提供的朴素贝叶斯算法对用户数据进行清洗，利用Spark的GraphX提供的PageRank算法和MLlib提供的Z-Score算法计算用户排名，最终应用并优化LPA算法，将特征相近、联系较密切的用户快速地划分到同一社区中，为进一步分析利用社区用户数据打下了基础。     

基于新拟牛顿方程解决分类问题

逻辑回归和线性支持向量机是解决大规模分类问题的有效方法,然而它们的分布式实现问题到现在也没有得到更好的研究.近年来,由于分布式计算框架在迭代算法中低效率性的原因,一种基于内存的集群计算平台Spark已经被提出来,并正在成为应用于大规模数据处理和分析的一个普遍框架.在本研究中,使用了新拟牛顿方程用于解决逻辑回归以及线性支持向量机的问题,并且在Spark框架中进行了实现.实验表明该方法显著提高了大规模分类问题的准确性和效率.     

利用DA算法实现大规模FIR滤波器

分布式算法是一种广泛地应用在可编程逻辑序列（FPCA）和ASIC设计中计算乘积和的算法。DA算法的处理速度仅与输入的位宽有关，对于大规模乘积和的运算，其计算速度有着明显的优势。当输入位宽过大时，可以将DA算法改进成并串结构以获得更快的处理速度。该文对在FPCA中利用DA算法实现大规模FIR滤波器，提出了具体的实现方案。     

I-Apriori：一种基于Spark平台的改进Apriori算法

针对Apriori算法在第二次迭代过程中产生大量候选集的弊端,在Spark大数据框架下,将Apriori算法进行并行化处理。提出一种基于Spark平台的改进Apriori算法——I-Apriori;该算法利用Spark基于内存计算的抽象对象(RDD)存储频繁项集,在第二次迭代中,通过使用改进的布隆过滤器存储频繁1项集,消除候选集生成,减少数据库扫描次数,提高算法效率。实验结果表明,相比基于Spark平台的Apriori算法进行性能评估,I-Apriori算法具有更优的性能,能够较大程度地提高大数据关联规则挖掘的效率。     

参数并行：一种基于群启发式算法的机器学习参数寻优方法

针对机器学习算法超参数寻优效率低的问题和参数寻优主流算法的特点,提出了一种基于参数并行机制的机器学参数寻优方法。该方法利用群启发式算法来进行机器学习算法的参数寻优,将种群转换为Spark平台特有的弹性分布式数据集,针对参数寻优耗时特点并行计算种群中个体适应度。选取随机森林和遗传算法作为实验算法设计了多组实验对所提出的学习训练方法进行验证。实验结果表明,在20万条以下的小数据量下,文中提出的基于参数并行机制的机器学习参数寻优方法与基于数据并行机制的机器学习参数寻优方法相比,运行时间最多能够减少2个小时,并具有良好的可扩展性。     

基于属性相关分析的离群数据并行挖掘算法

针对高维海量数据集中的局部离群数据,利用并行计算和属性相关性分析思想,给出了一种离群数据并行挖掘算法。该算法首先由主节点分配属性相关分析任务,各个子节点并行查找数据集中的冗余属性,将其冗余属性传回主节点,并由主节点删除;其次,主节点分配搜索任务,各子节点采用微粒群算法,并行搜索局部离群子空间;再次,由主节点对局部离群子空间合并计算后,确定全局离群数据;最后,在MPICH2-1.0.3的并行计算环境下,采用恒星光谱数据作为数据集,实验结果验证了算法的正确性和有效性。     

基于弹性分布数据集的海量空间数据密度聚类

为了快速挖掘大规模空间数据的聚集特性,在cluster_dp密度聚类算法基础上,提出了一种基于弹性分布数据集的并行密度聚类方法 PClusterdp.首先,设计一种能平衡工作负载弹性分布数据集分区方法,根据数据在空间的分布情况,自动划分网格并分配数据,使得网格内数据量相对均衡,达到平衡运算节点负载的目的;接着,提出一种适用于并行计算的局部密度定义,并改进聚类中心的计算方式,解决了原始算法需要通过绘制决策图判断聚类中心对象的缺陷;最后,通过网格内及网格间聚簇合并等优化策略,实现了大规模空间数据的快速聚类处理.实验结果表明,借助Spark数据处理平台编程实现算法,本方法可以有效实现大规模空间数据的快速聚类,与传统的密度聚类方法相比具有较高的精确度与更好的系统处理性能.     

一种基于动态调度的数据挖掘并行算法

数据挖掘并行算法,应该以不牺牲挖掘效率和挖掘质量为前提。通过对数据挖掘原理和并行化的深入研究,在考虑到挖掘效率,负载平衡,运行环境,节点状态等多方面因素的基础上,提出了一种新的基于动态调度的数据挖掘并行算法。该算法以规模较小的子数据集为并行挖掘单元,各个并行单元之间采用全局通讯模式—Master-Worker模式来进行互相通信。降低了并行挖掘的通信成本,提高了挖掘的效率,缩短了挖掘的时间。同时该算法对不断变化的节点状态适应能力强。最后,实验结果验证了该算法的有效性以及在大数据集挖掘应用中的优越性。该算法不但保证了挖掘结果的正确性,而且具有较高的加速比。     

最大互信息系数的并行计算方法研究

针对最大互信息系数（Maximal Information Coefficient，MIC）近似算法在大规模数据场景下的计算时间复杂度高，计算时间增长快的问题，提出一种最大互信息系数并行计算（The Parallel Computing Maximal Information Coefficient，PCMIC）方法。分别在Spark和Spark-消息传递接口（Message Passing Interface，MPI）计算框架中，在不同的数据规模和不同的噪声水平下，利用PCMIC算法对十四种典型的相关关系做并行计算。另外在不同节点数的情况下，选择两种具有代表性的相关关系来测试PCMIC算法在两种计算框架中的性能。实验结果表明：（1）PCMIC算法在两种框架下的运算效果与原始MIC近似算法相比，同样具有普适性和均匀性，而且具有良好的可扩展性。（2）随着数据规模和节点数的增加，PCMIC算法在两种框架中运算的时间增长明显比MIC近似算法慢，而且在Spark-MPI框架下的并行加速比和效率略优于Spark。（3）Spark能够支持MPI任务的调度，为研究不同并行计算框架之间的融合奠定了一定的理论和应用基础。     

基于Spark框架的电网运行异常数据辨识与修正方法

由于电网运行数据具有多源、异构、高维等典型大数据特征,使得传统检测方法已无法实现异常数据高效辨识;因此提出一种基于Spark框架的电网运行异常数据辨识与修正新方法。首先,提出了并行化最小生成树方法对待检测数据进行初始聚类;在此基础上结合并行K-means算法对数据进行二次聚类实现异常数据辨识;然后,在Spark框架下设计了基于径向基函数(RBF)神经网络的异常数据修正模型,实现对异常数据修正。最后,利用某省调度中心SCADA数据对方法的有效性进行了验证,结果表明所提方法能够有效处理电网运行异常数据,具有实际应用价值。     

A Scheduling Optimization Technique Based on Reuse in Spark to Defend Against APT Attack

Advanced Persistent Threat(APT) attack, an attack option in recent years, poses serious threats to the security of governments and enterprises data due to its advanced and persistent attacking characteristics. To address this issue, a security policy of big data analysis has been proposed based on the analysis of log data of servers and terminals in Spark. However, in practical applications, Spark cannot suitably analyze very huge amounts of log data. To address this problem, we propose a scheduling optimization technique based on the reuse of datasets to improve Spark performance. In this technique, we define and formulate the reuse degree of Directed Acyclic Graphs(DAGs) in Spark based on Resilient Distributed Datasets(RDDs). Then, we define a global optimization function to obtain the optimal DAG sequence, that is, the sequence with the least execution time. To implement the global optimization function, we further propose a novel cost optimization algorithm based on the traditional Genetic Algorithm(GA). Our experiments demonstrate that this scheduling optimization technique in Spark can greatly decrease the time overhead of analyzing log data for detecting APT attacks.     

混合动态数据库集群的并行空间连接优化算法

传统算法数据划分冗余度和倾斜度高,无用连接数据多,降低负载均衡性,对整体效率产生不好的影响,不适于实际应用。为此,面向混合动态数据库集群提出一种新的并行空间连接优化算法。采用网格划分法对数据进行划分,依据空间数据划分结果获取数据分布状态,计算节点按照数据分布状态得到候选集。通过平面扫描形成若干子空间连接的子任务,利用构建节点花费模型,依据花费模型对并行空间连接所需的平均节点访问个数进行评估,把候选任务集分配至不同计算节点,在不同节点执行并行空间连接操作。通过边界过滤策略,删除不可能有结果的元组,提高效率,增强算法的实用性。实验结果表明,所提算法适于实际应用,效率高。     

基于深度强化学习的分布式能源系统运行优化

分布式能源系统凭借其高效、环保、经济、可靠、和灵活等特点成为我国能源未来发展的重要方向。目前我国的很多分布式能源系统经济效益较差,主要原因是能源系统没有良好的运行策略。本文提出一种基于深度强化学习的分布式能源系统运行优化方法。首先,对分布式能源系统的各个设备进行数学建模。深入阐述了强化学习的基本原理、深度学习对强化学习的结合原理及一种基于演员评论家算法的分布式近端策略优化(Distributed Proximal Policy Optimization, DPPO)算法流程,将分布式能源系统运行优化问题转化为马尔可夫决策过程(Markov decision process,MDP)。最后采用历史的数据对智能体进行训练,训练完成的模型可以实现对本文的分布式能源系统的实时优化,并对比了深度Q网络(Deep Q Network, DQN)算法和LINGO获得的调度策略。结果表明,本文提出的基于DPPO算法的能源系统调度优化方法较DQN算法和LINGO得到的结果运行费用分别降低了7.12%和2.27%,可以实现能源系统的经济性调度。     

基于分布式并行遗传算法的相对波阻抗反演方法

目的研究地震相对波阻抗反演的优化方法。方法比较遗传算法二进制编码、实数编码在最优个体保存策略、随机均匀分布选择、分散交叉、高斯变异和分布式并行方案下的全局寻优能力。结果实数编码分布式并行遗传算法优于基本遗传算法,用该方法对数值模型和实际地震剖面进行波阻抗参数反演,验证了分布式并行遗传算法的有效性、优越性。结论基于分布式并行遗传算法的相对波阻抗反演,为遗传算法在地震属性的优化研究中提供了一种改进思路。