基于GEP的多数据流预测算法

针对传统的基于线性回归预测建模方法只能适应简单的预测建模和只能预测未来窗口平均值的不足,提出了基于基因表达式编程(gene expression programming,GEP)的多数据流预测方法。在多数据流环境中使用滑动窗口对多数据流的划分方法,给出了多数据流环境中的数据流名称的定义,揭示了这些数据流之间存在的映射关系;进而提出了对多数据流进行预处理的方法,并建立了基于GEP的多数据流的自适应预测模型。使用真实数据进行实验,验证了算法的有效性。     

基于Hadoop平台的SPRINT算法的分析与研究

传统的决策树算法在单机平台上处理海量数据挖掘时,容易受到计算能力和存储能力的限制,所以存在耗时过长、容错性差、存储量小的缺点.而拥有高可靠性和高容错性的Hadoop平台的出现为决策树算法的并行化提供了新的思路.本文设计和实现了一种基于Hadoop平台的并行SPRINT分类算法.实验结果表明:基于Hadoop平台的SPRINT分类算法比没有进行并行化的SPRINT算法具有较好的分类正确率、较低的时间复杂度和较好的并行性能,并且能明显提高算法求最佳分裂点时的执行速度.     

基于信息增益和GEP的决策树属性约简算法

分类是数据挖掘的一个重要研究方向,使用决策树进行分类是一种常用而且高效的分类方法。目前传统的算法有ID 3、C 4.5、CART等,这些算法都有如下的局限性:必须人工输入归类集合,划分属性,确定最优的分类集合。为了解决这些问题,本文做了如下工作:①提出信息增益排列GEP染色体头部的思想;②给出基于信息增益的GEP构造决策树属性约简算法(IG-GEPDTAR)并用实验进行验证;③实验表明该算法构造的决策树在具有100%准确性的同时,比使用GEP算法构造的决策树减少了冗余分支,其节点数比传统的ID 3算法和P ID算法构造的决策树的节点数分别减少了82.9%和31.2%。     

基于GA与PSO并行的模糊聚类算法

针对FCM算法不足,提出一种改进的模糊聚类算法:基于遗传算法(GA)与粒子群优化算法(PSO)并行的模糊聚类算法.实验结果表明,该算法比单基于GA或者PSO的模糊聚类有较好分类正确率与稳定性,有效克服了传统FCM算法对初值敏感和易陷入局部极小值的问题.     

基于Spark的大规模文本KNN并行分类算法

在使用KNN算法进行大规模文本分类,需要处理频繁的迭代运算,针对现有Hadoop平台迭代运算效率较低的问题,本文提出一种基于Spark平台的并行优化KNN算法.主要从3个方面对算法进行优化,首先,对于训练数据集通过剪枝算法控制有效数据的规模,从而减少迭代运算的次数;其次,针对高维数据集采用ID3算法利用信息熵进行属性降维,减少文本相似度的运算量;最后,使用Spark并行计算平台,引入内存计算最大限度地减少了迭代运算的I/O次数,提高处理速度.通过实验,与常用的KNN算法相比,基于Spark的KNN文本并行分类算法在加速比、扩展性等主要性能指标上表现较优,能够较好地满足大规模文本分类的需求.     

基于基因表达式编程的网格调度节点选取算法

为了在网格的动态分域调度机制中,更前瞻性地动态选取域内“计算结点”,解决原传统算法中需要依赖专业知识,而使选取过程具有主观性和盲目性的问题,提出了基于基因表达式编程(GEP)的网格调度域计算结点的选取算法.并通过对基于传统遗传算法进行选取和基于GEP进行选取的算法的比较,实验证明了该算法的优越性与实用性.     

高光谱遥感影像分类算法并行处理设计与实现

探讨高光谱遥感影像分类算法处理遥感影像速度。通过光谱角度匹配（SAM）、光谱相关系数匹配（SCM）、信息散度匹配（SIDM）、光谱波形匹配（SWM）进行并行化改造设计,将改造的并行化算法应用到湖北大冶遥感影像数据分类处理中,结果表明并行化算法能够有效完成高光谱遥感影像分类,数据量增大,并行化处理速度加快,数据量为158×382×1092时, SAM 并行处理速度是串行处理速度的25．68倍、SCM 为25．41倍、SIDM 为17．55倍、SWM为23．68倍。并行分类算法处理遥感影像分类速度较串行分类算法处理快。     

基于模拟退火的基因改进型GEP算法

基因表达式编程具有强大的函数挖掘能力,有助于在实验数据上提炼数学模型、揭示事物本质规律.尽管标准GEP算法通过改进遗传操作在一定程度上克服了早熟现象,但在解决实际问题中仍常表现出算法的不稳定;此外,标准GEP算法挖掘出的函数表达式往往冗长,可解释性差.针对这些问题本文做了如下工作:(1)对标准GEP算法的基因进行了新的定义,改进了标准GEP算法的基因构成,提高了GEP算法的通用性;(2)将模拟退火引入到标准GEP算法的选择算子中,提出了基于模拟退火的基因改进型基因表达式编程算法(RG-GEP-SA);(3)实验表明,RG-GEPSA算法比标准GEP算法具有更高的稳定性,RG-GEPSA算法比标准GEP算法成功率提高了11%,挖掘出的函数表达式更具有可解释性.     

基于G4ICCS系统的数据挖掘并行算法

针对传统决策树SPRINT（Scalable Parallelizable Induction of Decision Trees）算法不能处理海量地学数据挖掘的问题, 设计实现了基于G⁴ICCS(Geology Geography Geochemistry Geophysics Information Cloud Computing System）的决策树并行分类算法PSPRINT。该算法使用哈希表存储连续属性分割点两侧的数据记录, 为并行节点的分割提供依据, 在MapReduce架构下解决了海量地学数据挖掘问题。实验结果表明, 在模拟的云计算环境下, 决策树并行算法可以处理海量地学数据分类问题, 并获得较好的稳定性和较高的处理速度。     

基于并行权重自适应k-邻域算法的图像分类方法

针对现有KNN算法识别率低的问题，提出了一种并行权重自适应k-邻域算法。该方法首先结合多线程技术，并采用分类组合的多个KNN单元进行识别以提高执行效率；其次在分类组合KNN算法中采用深度学习模型对各个类别进行了系数权重自适应设定，进而降低传统KNN和分类组合KNN,由于单纯类别个数的多少进行决策或者通过人为设定类别比例进行决策而引起的分类误差。通过在Fashion MNIST手写数据集进行实验，结果表明：该算法将传统的KNN算法分类正确率提高到97%左右，对实际应用具有一定的价值。