A Heterogeneous Ensemble of Extreme Learning Machines with Correntropy and Negative Correlation

The Extreme Learning Machine(ELM) is an effective learning algorithm for a Single-Layer Feedforward Network(SLFN). It performs well in managing some problems due to its fast learning speed. However, in practical applications, its performance might be affected by the noise in the training data. To tackle the noise issue, we propose a novel heterogeneous ensemble of ELMs in this article. Specifically, the correntropy is used to achieve insensitive performance to outliers, while implementing Negative Correlation Learning(NCL) to enhance diversity among the ensemble. The proposed Heterogeneous Ensemble of ELMs(HE2 LM) for classification has different ELM algorithms including the Regularized ELM(RELM), the Kernel ELM(KELM), and the L2-norm-optimized ELM(ELML2). The ensemble is constructed by training a randomly selected ELM classifier on a subset of the training data selected through random resampling. Then, the class label of unseen data is predicted using a maximum weighted sum approach. After splitting the training data into subsets, the proposed HE2 LM is tested through classification and regression tasks on real-world benchmark datasets and synthetic datasets. Hence, the simulation results show that compared with other algorithms, our proposed method can achieve higher prediction accuracy, better generalization, and less sensitivity to outliers.     

基于抽样方法的不确定极限学习机

实际应用中的大量数据具有不确定属性,而传统的挖掘算法无法直接应用在不确定数据集上.针对不确定数据的分类问题,提出一种基于抽样方法的不确定极限学习机.该算法通过抽样的方法,对不确定数据集中样本的抽样实例进行学习和分类,得到该不确定样本的所属类别的概率,从而实现了传统极限学习机分类算法对不确定数据的分类,并极大降低了不确定对象实例的枚举代价.实验结果表明,该算法在不确定数据的分类问题中具有较好的有效性和高效性.     

一种基于粒子群优化和核极限学习机的入侵检测算法

针对网络入侵检测准确率低、误报率高的问题,本文提出了一种基于粒子群优化和极限学习机的入侵检测算法。粒子群优化算法(PSO)是一种群智能算法,核极限学习机(KELM)是一种学习速度快、泛化能力强的经典核机器学习的方法,但是极限学习机对核函数及参数的选择直接影响它的分类性能。本文算法中利用粒子群算法优化核极限学习机的核参数,采用学习能力强且线性组合泛化能力强的全局性核函数,形成了多核极限学习机,可以有效提高单核极限学习机（ELM）分类器的性能。最后通过实验对算法性能做了对比分析,实验结果验证了本文算法的有效性。     

分布式环境中基于核函数的极限学习机

针对海量数据规模下的集中式核函数极限学习机的性能问题,将基于核函数的极限学习机扩展到云计算技术框架下,提出了基于MapReduce的分布式核函数极限学习机MR-KELM.该算法将分布式径向基核函数计算出的核函数矩阵进行分布式矩阵分解,并通过分布式矩阵向量乘法得到分类器输出权重,减小了网络通讯和数据交换代价.实验结果表明,MR-KELM算法能够在不影响基于核函数的极限学习机的计算理论的前提下,具有较好的可扩展性和分类训练性能.     

前馈网络的一种高精度鲁棒在线贯序学习算法

基于离散傅里叶变换-极限学习机(DFT-ELM)提出了一种新的单隐层前馈神经网络在线贯序学习算法,命名为"在线贯序-离散傅里叶变换-极限学习机"(OS-DFT-ELM).该算法能够逐个或逐段学习数据,随着新数据的逐渐到达,单隐层前馈神经网络的内权矩阵和外权矩阵得到逐步调整.该算法与在线贯序-极限学习机(OS-ELM)相比,具有更高的精度和鲁棒性.同时,通过实验和分析,表明OS-DFT-ELM具有优良性能.     

控制饱和系统的极限学习机控制算法

为提升被控系统的鲁棒性和控制精度,对存在控制饱和约束和内外参数摄动的非线性系统,提出一种基于极限学习机的自适应反演控制算法。针对存在控制饱和约束的非线性系统,基于所设计的辅助函数,将非线性控制饱和约束转换成常规控制输入形式,有效降低了控制器的设计难度。为提升内外参数摄动的估计精度和估计算法速度,采用极限学习机逼近内外参数摄动的综合项,构建了基于极限学习机的自适应控制算法,理论证明了闭环系统的全局渐近稳定性。与自适应滑模控制器对比仿真结果显示,控制器在控制力矩总能耗、系统输出收敛轨迹上具有更优的品质。     

基于流形正则化的在线半监督极限学习机

在基于流形正则化的半监督极限学习机(SS-ELM)的基础上,利用分块矩阵的运算法则,提出了在线半监督极限学习机(OSS-ELM)方法.为避免在实时学习的过程中由于数据累积引起的内存不足,通过对SS-ELM的目标函数的流形正则项的近似,给出了OSS-ELM的近似算法OSSELM(buffer).在Abalone数据集上的实验显示,OSS-ELM(buffer)在线学习的累计时间与所处理的样本个数呈线性关系,同时,9个公共数据集上的实验表明,OSS-ELM(buffer)的泛化能力与SS-ELM的泛化能力的相对偏差在1%以下.这些实验结果说明,OSS-ELM(buffer)不仅解决了内存问题,还在基本保持SS-ELM泛化能力的基础上大幅度提高了在线学习速度,可以有效应用于在线半监督学习当中.     

投影自表示无监督极限学习机

无监督极限学习机在投影过程中保持原始高维空间中的稀疏或近邻结构,样本在高维空间中存在冗余信息,原始的数据结构不一定适应于投影后的低维特征空间.为此,结合无监督极限学习机和子空间聚类的自表示学习,提出投影自表示无监督极限学习机模型.该模型是面向聚类的特征提取方法,在投影过程中学习自表示子空间结构,从而使无监督极限学习机提取的特征自适应于聚类任务.在IRIS数据集、 6个基因表达和2个医学影像高维数据集上进行实验,结果表明该模型和算法是有效的.     

MR-IDPSO: A Novel Algorithm for Large-Scale Dynamic Service Composition

In the era of big data, data intensive applications have posed new challenges to the field of service composition. How to select the optimal composited service from thousands of functionally equivalent services but different Quality of Service(Qo S) attributes has become a hot research in service computing. As a consequence,in this paper, we propose a novel algorithm MR-IDPSO(Map Reduce based on Improved Discrete Particle Swarm Optimization), which makes use of the improved discrete Particle Swarm Optimization(PSO) with the Map Reduce to solve large-scale dynamic service composition. Experiments show that our algorithm outperforms the parallel genetic algorithm in terms of solution quality and is efficient for large-scale dynamic service composition. In addition,the experimental results also demonstrate that the performance of MR-IDPSO becomes more better with increasing number of candidate services.     

一种基于处理时间的Map/Reduce动态均衡调度算法

提出了一种基于处理时间的Map/Reduce动态均衡调度算法.在该算法中,为参与计算的各节点建立处理总时间指标;当节点的子任务返回时动态更新当前节点的处理时间,并按照最小处理总时间来选择子任务处理的节点.实验证明:该算法不仅减少了节点与云中心服务器的负载信息传递,而且充分利用了各计算节点的处理能力,提高了Map/Reduce调度效率,对于提升云计算服务的质量具有十分重要的理论意义.     

一种基于MapReduce的关联规则挖掘算法

本文从减少I/O时间的角度出发,结合云计算Hadoop平台的Map Reduce模型,提出了一种基于Map Reduce的关联规则挖掘算法.算法采用幂集计算候选项集,采用Map Reduce模型在多个节点上并行找出所有频繁项集,只需要扫描事务数据库1次.实验结果表明：在事务的平均项长较小的情况下,算法具有很好的加速比和数据规模增长性.     

A simple implementation of distributed vertical search and information integration technology

The paper proposes the research on the distributed vertical search and information integration technology based on Web mining, which aims at satisfying the requirements of the specific fields’ applications. Nowadays, mining, analyzing, and integrating Web’s content have become an important trend for daily use. The technique includes the Map/Reduce model, the depth search, and the basic principles of information integration. The focus of the paper is how to implement the distributed vertical search engine based on Map/Reduce technology and the information integration system. System optimization mechanism and the system test are also proposed.     

基于状态转移算法的极限学习机

目前极限学习机在训练模型时存在占用计算资源多和模型精度低等问题.为了解决上述问题,提出了一种基于状态转移算法的极限学习机,可提升算法计算效率和模型精度.利用状态转移算法的全局搜索特性求解线性方程组,得到极限学习机的输出权重矩阵,进而完成建模.在分类和回归数据集上与极限学习机和其他主流算法进行对比,所提方法可以利用较少的隐藏层节点得到高精度的模型,同时具有更好的学习准确率.这种高性能的建模方式弥补了极限学习机的不足.     

基于MapReduce的两表数据倾斜连接的优化算法

针对Range partition算法不能优化数据集严重倾斜情形下的两表连接效率问题, 提出一种改进的数据倾斜连接算法. 该算法将倾斜数据和非倾斜数据区别处理, 利用复制、 广播方法将数据发送到每个Reduce节点, 通过一轮Map/Reduce任务完成所有的连接操作, 可有效均衡每个Reduce处理量, 解决了数据严重倾斜对两表连接性能的影响. 与传统的分区连接算法比较结果表明, 该算法有效.     

局域极端学习机及其在状态在线监测中的应用

针对训练样本贯序输入时的极端学习机(ELM)训练问题,提出一种可实现在线训练的局域极端学习机(LELM).LELM以逐次增样训练与减样训练的方式实现在线训练,从而有效保持了简约的模型结构,同时利用分块矩阵求逆引理有效减小了多次模型训练的计算代价.混沌时间序列在线预测仿真表明,LELM的在线训练时间远小于ELM,且预测精度更高.基于时间序列预测的雷达发射机状态在线监测实例表明,相比于利用粒子群优化的自适应灰色模型方法,LELM具有更高的计算效率与预测精度,适用于电子系统状态在线监测.     

基于二叉级联结构的并行极速学习机算法

为解决因庞大的矩阵存储和计算,ELM（Extreme Learning Machines）难以应用到大规模、高维数据集的问题,提出一种基于“分而治之”策略的并行极速学习机算法。
该算法利用二叉级联结构,将大规模数据集分派到多个计算节点上,并行地更新单隐层前馈网络的输出权值,且能有限步地单调收敛到最小二乘解。实验结果表明,该算法不仅泛化性能优异,并且具有非常高的加速比和并行效率。     

基于Jerk流形正则化深度极限学习机的电能质量复合扰动识别

为了有效利用电能质量复合扰动识别中存在的大量难以标注的实测样本,提出了一种基于Jerk流形正则化深度极限学习机(DJRELM)的半监督扰动学习方法.算法通过堆叠嵌入Jerk流形正则化的极限学习机自编码器(JRELM-AE)实现在复合扰动特征自动提取的同时保持数据内部流形结构.分类层通过阈值预测极限学习机和Jerk正则化...     

优化的竞争算法在语音识别中的应用

在传统的ＨＭＭ语音识别方法的基础上,提出了两种改进的竞争神经网络算法,分别用于语音识别的两个不同方面．首先提出了一种基于选择机制的新的竞争算法,这种算法可以有目的性地避免局部最优,而且可以克服模拟退火算法（ＳＡ）的随机性．然后,针对分类器的特性,对竞争算法进行改进,把安全拒识措施结合到竞争算法中,提出了一种新颖的神经网络——并行、自组织、层次神经网（ＰＳＨＮＮ）．实验结果表明,基于竞争神经网络算法的语音识别系统比传统的语音识别系统在识别能力和识别速度上都有明显提高,从而证明了与竞争神经网络算法结合的语音识别方法是可行的,而且具有良好的发展和应用前景．     

基于ELM的蛋白质二级结构预测及其后处理

将ELM应用到蛋白质二级结构模型的训练中,在此基础上提出了基于概率的合并算法(probability-based combining,PBC),用该算法预测结果的合并.根据生物学中关于蛋白质二级结构的特征提出了预测结果的Helix-后处理(Helix-post-processing,HPP)算法,对合并后的预测结果进行有效的后处理,从而进一步提高预测结果的准确率.分别在CB513和RS126两个数据集上进行了实验,实验结果表明,预测结果的准确率是令人满意的,尤其是实现了训练时间上的显著缩短.     

ELM岭回归软测量建模方法

ELM(极限学习机)是一种新型的前馈神经网络,可有效处理函数的回归问题.针对ELM学习算法隐含层输出可能存在的复共线性问题,提出了ELM岭回归(ELMRR)软测量建模方法.该算法利用岭回归方法代替原有的线性回归算法,以误差平方和均值为性能指标,采用粒子群优化算法确定最佳岭参数,克服了传统岭回归算法最佳岭参数难以确定的缺...