HSEC:基于聚类的启发式选择性集成

提出一种基于聚类的启发式选择性集成学习算法.集成学习通过组合多个弱分类器获得比单一分类器更好的学习效果,把多个弱分类器提升为一个强分类器.理论上来说弱分类器的个数越多,组合的模型效果越好,但是随着弱分类器的增多,模型的训练时间和复杂度也随之递增.通过聚类的方法去除相似的弱分类器,一方面有效降低模型的复杂度,另一方面选出差异性较大的弱分类器作为候选集合.之后采用启发式的选择性集成算法,对弱分类器进行有效的组合,从而提升模型的分类性能.同时采用并行的集成策略,提高集成学习选取最优分类器子集效率,可以有效地减少模型的训练时间.实验结果表明,该算法较传统方法在多项指标上都有着一定的提升.     

面向多请求的并行体绘制算法

为了提高并行体绘制算法在处理连续多个绘制请求时计算资源的利用率,提出了一种面向多请求的并行体绘制算法.该算法从两个层次并行处理多绘制请求,首先是不同请求之间的并行计算,其次是对单个请求的并行绘制.根据请求和节点的数目,提出了一种合理的任务分配策略,不仅及时响应用户请求,而且降低了连续多请求的总绘制时间.为便于负载平衡的实现,采用动态资源调度策略.在清华高性能集群计算机系统上实现了该算法.用32个处理器处理16个请求时,与现有其他算法相比,总绘制时间减少了约9.676 s, 响应延迟只增加了0.378 s.     

量子神经网络在心电图分类中的应用

将量子叠加的概念引入前向神经网络,提出了量子神经网络的计算模型.量子神经网络分类器是将量子迁移(量子间隔)概念引入前向神经网络,在隐含层和输出层借鉴量子理论中的量子迁移(量子间隔)思想,神经元采用多个激励函数的叠加,形成对特征空间的多级划分,在训练过程中,量子神经元能够根据需要伸展或坍塌.当输入模糊信息时,该算法可以学习数据集中的不精确性或不确定性,具有较高的分类精度.将该算法应用于心电图诊断中,结果表明具有较好的分类效果和较快的训练速度.     

基于实值遗传算法的模糊神经网络辨识器

提出了一种基于实值遗传算法(RVGA)的模糊神经网络辨识器·它常被用于非线性动态系统的辨识·通常模糊神经网络辨识器参数的训练采用反向传播学习算法(BP),但是用BP算法有训练时间长,容易陷入局部极小的问题·采用RVGA来训练模糊辨识器的参数,由于GA算法具有并行运算,多点寻优等特点,所以它运算速度快,容易实现全局寻优·传统的GA算法采用二进制编码,计算繁复且占用大量的空间·采用一种新的实数编码方法,在实数域上进行遗传运算,操作简便,特别适用于需要调整的参数较多的情况·仿真结果表明,该辨识器具有良好的逼近性能和较快的训练速度·     

并行技术在电磁有限元计算中的应用

有限元方法FEM(Finite Element Method)是计算电磁学中非常重要的一种方法,而当问题规模较大时或计算量较大时,传统串行单机FEM难以胜任.本文在基于消息传递(MPI)的分布式并行系统上,采用有限元方法对电磁场问题进行并行求解.有限元方法形成的系数矩阵可以表示成块三对角矩阵,适合采用并行多分裂方法高效求解.并行计算技术的运用减少了计算时间并扩展了可处理问题的规模.结果表明,将并行技术应用于电磁有限元计算是有效并且可行的.     

基于加权策略的SVM多元分类器

多元分类器通常需要在训练时间和分类精度之间折衷.提出了加权阈值策略和一对多分类方法的改进算法 OVA WWT，以增加结果融合的公平性，从而提高分类精度.基于OVA WWT策略和SVMlight二元分类器，实现了基于SVMlight的多元分类器MSVMlight.在CWT100G数据集进行的实验表明，该分类器具有较高的分类精度以及较短的训练和分类时间.相同的数据集上的阈值策略选择实验也说明了加权阈值策略能提高分类精度.     

视觉车辆识别迁移学习算法

针对采用大样本离线训练的车辆识别分类器在新场景中性能显著下降的问题,提出了一种具有样本自标注能力的车辆识别迁移学习算法,并采用概率神经网络(probability neural netw ork,PNN)进行分类器训练.首先,提出一种基于多细节先验信息的样本标注策略,融合复杂度、垂直平面和相对速度等先验信息实现新样本的自动标注;然后,充分利用PNN训练速度快以及增加新样本时只需分类器进行局部更新的特点,将其引入到分类器训练模型中,取代传统机器学习算法中的Adaboost分类器.实验结果表明:该算法在新场景下的新样本标注准确率高达99.76%.通过迁移学习,新场景的车辆识别分类器性能较通用分类器在检测率和误检率指标上均有显著提升.     

基于支持向量机的增量学习算法

通过对支持向量机KKT条件和样本间关系的研究,分析了新增样本加入训练集后支持向量的变化情况,提出一种改进的Upper Limiton Increment增量学习算法.该算法按照KKT条件将对应的样本分为3类:位于分类器间隔外,记为RIG;位于分类间隔上,记为MAR;位于分类间隔内,记为ERR.并在每次训练后保存ERR集,将其与下一个增量样本合并进行下一次训练.实验证明了该算法的可行性和有效性.     

一种基于聚类和AdaBoost的自适应集成算法

为同时保证基分类器的准确性和差异性, 提出一种基于聚类和AdaBoost的自适应集成算法. 首先利用聚类算法将训练样本分成多个类簇; 然后分别在每个类簇上进行AdaBoost训练并得到一组分类器; 最后按加权投票策略进行分类器的集成. 每个分类器的权重是自适应的, 且为基于测试样本与每个类簇的相似性及分类器对此测试样本的分类置信度计算得到. 实验结果表明, 与AdaBoost,Bagging(bootstrap aggregating)和随机森林等代表性集成算法相比, 该算法可取得更高的分类精度.     

基于动态规划的序列比对的并行算法研究

针对序列比对算法进行了深入地研究,分析比较了两序列和多序列、局部和全局、渐进和迭代的序列比对算法.利用动态规划序列比对算法内在的并行性,提出了自适应的动态规划序列比对的并行策略.该策略在计算初期和计算末期采用较小的高度和宽度值使得大部分处理器参与计算,在计算中期采用较大的高度和宽度值降低处理器间的通信开销;运用上述自适应的动态规划序列比对的并行策略,提出了一种基于动态规划的序列比对的并行算法,将读入的比对序列负载均衡地分布至不同的计算结点.基于集群系统和MPI环境的实验数据及分析表明,该算法在给定进程数量的条件下,其执行时间随序列长度的增长而急剧上升;在给定序列长度的条件下,其执行时间随并行进程数量的增大而大幅减小;充分反映出该算法较好地发挥了序列比对问题的内在并行性,有效地降低了序列比对算法的时间复杂度.     

一种基于动态调度的数据挖掘并行算法

数据挖掘并行算法,应该以不牺牲挖掘效率和挖掘质量为前提。通过对数据挖掘原理和并行化的深入研究,在考虑到挖掘效率,负载平衡,运行环境,节点状态等多方面因素的基础上,提出了一种新的基于动态调度的数据挖掘并行算法。该算法以规模较小的子数据集为并行挖掘单元,各个并行单元之间采用全局通讯模式—Master-Worker模式来进行互相通信。降低了并行挖掘的通信成本,提高了挖掘的效率,缩短了挖掘的时间。同时该算法对不断变化的节点状态适应能力强。最后,实验结果验证了该算法的有效性以及在大数据集挖掘应用中的优越性。该算法不但保证了挖掘结果的正确性,而且具有较高的加速比。     

混合动态数据库集群的并行空间连接优化算法

传统算法数据划分冗余度和倾斜度高,无用连接数据多,降低负载均衡性,对整体效率产生不好的影响,不适于实际应用。为此,面向混合动态数据库集群提出一种新的并行空间连接优化算法。采用网格划分法对数据进行划分,依据空间数据划分结果获取数据分布状态,计算节点按照数据分布状态得到候选集。通过平面扫描形成若干子空间连接的子任务,利用构建节点花费模型,依据花费模型对并行空间连接所需的平均节点访问个数进行评估,把候选任务集分配至不同计算节点,在不同节点执行并行空间连接操作。通过边界过滤策略,删除不可能有结果的元组,提高效率,增强算法的实用性。实验结果表明,所提算法适于实际应用,效率高。     

一维河网非恒定流数学模型的并行计算

运用并行计算,求解一维河网Preissman四点隐式差分格式离散方程组中耗时最多的节点水位方程组,有效缩减了模型的求解时间.针对当前商业并行编程平台不能实现进程迁移和网络异常情况下无法保证计算结果正确性的现状,自主开发了并行通讯平台,并根据模型并行计算需要制定了相关通讯协议.以上海浦东河网为例进行了数值模拟.结果表明:当河道数一定时,存在最优客户端数;当客户端数小于最优客户端数时,并行算法所需时间小于串行算法时间,并随着客户端数增加所需时间也逐渐减少;反之,所需时间则逐渐增大.     

基于BP神经网络的并行算法

对强激光与等离子体相互作用三维数值模拟程序LARED_P数据输出进行分析,针对大规模数据模拟数据的特点,提出了基于BP神经网络的并行算法,即在各个搜索子空间内对训练集合中的学习样本进行并行训练。实例表明:不仅可避免陷入局部极小点,提高网络训练速度,而且仿真效果较好。     

基于MapReduce的Apriori算法并行化

Apriori是挖掘关联规则最经典的算法之一,针对该算法存在的瓶颈问题研究了基于MapReduce编程框架的简单Apriori并行算法;并在简单Apriori并行算法的基础上提出一种采用固定多阶段结合挖掘策略的改进算法——多阶段并行算法。实验结果表明,改进算法能缩短挖掘时间,提高执行的效率。     

一种基于并行计算熵迁移策略的多分辨DOM数据生成算法

数字正射影像图(digital orthophoto map,DOM)数据通常以多分辨数据形式组织,并以切片的方式存储,而海量多分辨DOM数据的生成需要大量计算和大容量存储.针对此问题,提出一种基于并行计算熵迁移策略的并行多分辨DOM数据生成算法,以减少海量多分辨DOM数据的生成时间.该算法采用并行计算熵来衡量并行计算机系统的负载平衡程度,并以此判断何时需要进行负载迁移以及如何迁移.仿真实验表明,与串行算法相比,该算法能有效减少程序执行时间,并且能获得较高的加速比和并行效率.     

基于MapReduce的中文词性标注CRF模型并行化训练研究

针对条件随机场模型面对大规模数据传统训练算法单机处理性能不高的问题, 提出一种基于MapReduce框架的条件随机场模型训练并行化方法, 设计了条件随机场模型特征提取及参数估计的并行算法, 实现了迭代缩放算法的并行。实验表明, 所提出的并行化方法在保证训练结果正确性的同时, 大大减少了训练时间, 效率得到较大提升。     

Research on remote sensing image of land cover classification based on multiple classifier combination

This paper proposed an algorithm in which the maximum probability and the weighted average strategy were used for the combination of member classifiers. Using parallel computing, we test the algorithm on a China-Brazil Earth Resources Satellite (CBERS) image for land cover classification. The results show that using three computers in parallel can reduce the classification time by 30%, as compared with using only one computer with a dual core processor. The accuracy of the final image is 93.34%, and Kappa is 0.92. Multiple classifier combination can enhance the precision of the image classification, and parallel computing can increase the speed of calculation so that it becomes possible to process remote sensing images with high efficiency and accuracy.     

基于二叉级联结构的并行极速学习机算法

为解决因庞大的矩阵存储和计算,ELM（Extreme Learning Machines）难以应用到大规模、高维数据集的问题,提出一种基于“分而治之”策略的并行极速学习机算法。
该算法利用二叉级联结构,将大规模数据集分派到多个计算节点上,并行地更新单隐层前馈网络的输出权值,且能有限步地单调收敛到最小二乘解。实验结果表明,该算法不仅泛化性能优异,并且具有非常高的加速比和并行效率。     

基于属性相关分析的离群数据并行挖掘算法

针对高维海量数据集中的局部离群数据,利用并行计算和属性相关性分析思想,给出了一种离群数据并行挖掘算法。该算法首先由主节点分配属性相关分析任务,各个子节点并行查找数据集中的冗余属性,将其冗余属性传回主节点,并由主节点删除;其次,主节点分配搜索任务,各子节点采用微粒群算法,并行搜索局部离群子空间;再次,由主节点对局部离群子空间合并计算后,确定全局离群数据;最后,在MPICH2-1.0.3的并行计算环境下,采用恒星光谱数据作为数据集,实验结果验证了算法的正确性和有效性。