基于样本划分的启发式遗传BP算法

遗传算法作为一种模拟生物遗传进化过程的随机搜索算法,具有并行和全局搜索能力、不要求函数可导等特点,在神经网络学习中得到广泛应用.合理选择初始群体和控制搜索的盲目性,有利于提高算法的效率.为此,提出了一种新的神经网络学习算法--基于样本划分的启发式遗传BP算法.该方法对神经网络学习样本进行划分,形成样本子集.初始群体通过在样本集类上训练神经网络而获得.这些初始网络中包含了关于样本子集的有用信息,根据模式定理,能通过遗传算法保留和加强.此外,提出并证明了关于样本集类及其BP训练的几个代数性质,结合子空间划分进行启发式搜索,以克服搜索的盲目性.对上述方法进行仿真实验,迭代次数和误差较小,表明本学习算法是切实可行的.     

离散半无限极大极小问题一个推广的模松弛SQP算法(英文)

将求解半无限规划离散化问题的一个可行模松弛SQP算法推广到离散的半无限极大极小问题,提出一个全局收敛的模松弛SQP算法.算法要求迭代点可行,且每次迭代只需求解一个二次规划(QP)子问题即可获得搜索方向.通过修正其离散指标集,使得每次迭代求解QP子问题时只需利用一小部分离散指标即可,这大大降低了计算成本.在合适的条件下,可证明算法具有全局收敛性.     

随机变分不等式的随机投影梯度算法

在R~n空间中给出随机变分不等式问题的随机投影梯度算法.该算法的优点在于:在迭代的每一步,只需向可行集投影一次,也只需对函数赋值一次;这使得算法简单快速,特别对于F函数值以及投影难以计算的情况.同时,证明该算法所产生的迭代序列的全局收敛性.     

二类无约束优化的混合DY-CD共轭梯度法

针对无约束优化问题,提出二类新的混合DY-CD的下降共轭梯度法.每次迭代过程中,算法产生的搜索方向均为充分下降方向.在水平集有界条件下,证明了算法的全局收敛性.数值结果表明算法是可行、有效的.     

均衡问题的一种改进不精确次梯度算法

针对采用精确次梯度算法求解均衡问题中的稳固非扩张算子的不动点集问题(EP(f,Fix(T)))时计算复杂且收敛性较差这一情况,提出了一种改进的不精确次梯度算法.首先,由事先选择的参数确定一个凸集;其次,通过不精确次梯度投影算法构造中间迭代点;最后,将当前迭代点和中间迭代点的线性组合在稳固非扩张算子的映射作为下一次迭代点.在合适条件下验证了算法的全局收敛性.     

约束条件下一个拓广的梯度投影法

对于约束最优化问题,传统的梯度投影法在每步迭代时均需跟踪活动约束集,这样在实际运算时很容易引起数值上的不稳定。特别对于非线性的约束条件下的梯度投影法,为保证其算法具有全局收敛性,传统的方法都使用了ε-主动约束集的方法,这样,算法在每步迭代开始,都要进行转轴运算,以便确定ε-主动约束集,从而大大增加了每步迭代的计算量。1986年,J.Hevskowits在[1]中首先提出了一个每步迭代时无需跟踪活动约束集的梯度投影类算法,这是一个严格内点法。实际运算表明,[1]中的算法非常稳定。但遗憾的是,此算法所需的假设条件较强(如要求约束域有严格内点集及约束函数是二次连续可微的     

一种基于流形距离的迭代优化聚类算法

针对传统欧氏距离测度描述复杂结构的数据分布会失效的问题,引入能有效反映样本集固有的全局一致性信息的流形距离作为样本间相似度度量测度,并设计了反映类内相似度大、类间相似度小的聚类目标的准则函数,把数据聚类转化成准则函数优化问题,提出了一种迭代优化的聚类算法.通过4个人工数据集的仿真试验结果表明,新方法的参数很少且实现简单,由于实现过程中没有引入随机操作,因此结果比较确定.与标准k均值算法相比,新方法能够自动确定聚类数目,对于样本空间分布复杂的聚类问题具有良好的分类效果.     

求解黑箱全局优化问题的一种改进的随机算法

提出了一个改进的随机算法求解黑箱全局优化问题,算法中使用的径向基函数插值是昂贵的目标函数的近似.算法在可靠的信赖域内通过简单而有效的方法选择下一个迭代点.在早期的迭代过程中,算法倾向于在响应面模型的全局最优值附近改善响应面模型的局部逼近精度.它可能暂时陷入局部最优,但它有能力在之后的迭代中探索可行域中的其他区域并改善响应面的全局逼近精度.数值实验结果说明了该算法的有效性.     

结合局部全局一致性和支持向量机的半监督分类方法

半监督分类方法通过提取无标签样本的信息,结合有限的有标签样本,克服了高光谱图像准确地物标签样本不足的问题,有效提高了图像的分类精度。局部全局一致性算法是一种基于图的标签传递半监督分类方法,具有性能良好,易于求解以及能够有效反映所有样本间关系的优点,但是其分类结果极不稳定,不利于实际应用。支持向量机是高光谱图像的分类领域应用最广的监督分类方法,拥有较强的鲁棒性,但是由于高光谱图像中有标签的样本不一定能够代表该类地物的全部特征,其分类结果也有可能出现波动性较大的问题,分类精度不理想。因此本文提出了一种结合局部全局一致性和支持向量机的半监督分类算法,通过迭代不断提取两种算法中分类结果相同的部分扩充有标签样本集,然后通过支持向量机进行分类,大幅度提高了分类精度和稳定度。     

不等式约束条件下的可行SQP方法

提出一个处理非线性不等式约束优化问题的有效可行SQP算法.每一步迭代,只需求解在近似积极约束指标集下的一个二次规划子问题和一个线性方程组,该方法有效的避免了马太效应.在无严格互补假设条件下,证得算法是全局收敛和超线性收敛的.数值试验表明该算法是有效的.     

基于RBF元模型集的多变量全局优化算法研究

首先提出元模型集的概念,根据RBF函数的特点,将其系数向量转化为系数矩阵,使得多个变量可在同一元模型中进行仿真.其次针对通过采样点计算Pareto适存度矩阵困难的问题,提出了增量迭代式Pareto适存度计算方法,利用上一次迭代产生的适存度值直接更新,减少了计算工作量.最后将元模型集和增量Pareto适存度算法应用到多变量全局优化算法中,并将其应用于数值计算以及五杆平面桁架结构优化设计中.结果表明该方法科学合理,效果明显.     

一种运动想象脑电信号半监督算法

针对脑机接口中两类左右手运动想象任务,提出一种依据迭代训练次数不断更新训练集样本的半监督算法.使用多重自相关分析算法,选择置信度较高的脑电信号样本并加入初始训练集;分别使用公共平均参考法与共空域模式算法,对样本进行预处理及特征提取;最后使用支持向量机对样本进行测试,根据迭代学习次数按照递进方式移除置信度较低的样本,并利用剩余样本继续训练模型,从而优化特征提取器及分类器参数.通过对标准脑电竞赛数据库BCI IV Dataset Ⅱa中左右手运动想象数据的测试表明,该算法与其他算法相比,在训练样本数目较少的情况下,具有较高的分类正确率.      

基于最短主干道距离的零售户聚类研究

在研究零售户聚类分析中,传统的k中心聚类方法,计算成本过大,无法有效应用子大数据集.提出了零售户聚类方法,继承CLARANS算法迭代思想,采用全局随机抽样技术,将算法应用于大型空间数据集,通过多次迭代尽量寻求最优聚类结果.聚类结果的评价标准为基于最短主干道距离(SARD)的总距离.该聚类算法是在CLARANS算法的基础上进行改进,使其能够处理带地理信息的数据对象,且聚类结果满足需求约束条件限制.     

基于密度峰值聚类和模糊支持度的boosting随机森林

为了解决传统分类算法在不平衡样本集上分类效果不佳的问题,提出一种新的欠采样boosting集成算法(FECBoost).首先,通过改进的模糊熵反映样本集原始分布的不确定性,并用此模糊熵判断多数类样本所在的区域,称为安全区域或边界区域;其次,利用密度峰值聚类算法选取安全区域的代表性样本以减少分类器的训练时间和样本间的重叠,降低样本的不平衡度,实现静态欠采样;最后,训练新的boosting集成分类器,在算法每一次迭代之前,基于模糊熵和模糊支持度对多数类样本再次欠采样,使用于训练的样本集达到平衡.该动态欠采样依赖于分类器的训练过程,充分考虑了样本分布的不确定性和错分可能性.通过在真实样本集上的仿真实验验证了提出方法的有效性.     

融合全局和局部特征的图像特征提取方法

针对图像特征提取无法同时利用样本的全局和局部特征的问题,提出融合全局和局部特征的特征提取方法.该方法充分利用线性判别分析和保局投影算法分别在特征提取中保持样本全局特征和局部特征方面的优势,进一步提高图像特征提取效率.首先,引入全局散度矩阵和局部散度矩阵分别表征样本的全局特征和局部特征.然后,基于同类样本尽可能紧密,异类样本尽可能远离的思想,构造最优化问题.比较实验表明:与传统的主成分分析、线性判别分析、保局投影算法相比,文中方法的工作效率有一定提高.     

基于局部和全局信息的正则化迭代聚类

聚类是一种高效的数据分析方法,经典的K-means算法只适用于类簇为凸形的数据集,谱聚类算法虽然避免了K-means的一些缺点,但相似度中的参数设置问题以及较高的计算、存储复杂度对聚类有所限制.基于局部和全局信息的正则化迭代聚类,先取部分数据作为一个整体聚类,然后逐渐加入少量数据进行迭代求解.该方法继承传统谱聚类的优点,充分利用局部正则化和全局正则化信息,通过迭代方式求解使较大规模数据聚类成为可能.通过实验对比结果显示,该算法有良好的聚类效果.     

求解二次锥规划的非精确不可行内点法

给出一种求解二次锥规划问题的原 对偶非精确不可行内点算法. 通过引入一个不可行邻域, 所给算法可以运用非精确搜索方向且不要求迭代点位于严格可行解集内. 该算法是全局收敛的.     

不均衡数据集下的入侵检测

在直推式支持向量机(transductive support vector machine, TSVM)中,迭代过程中样本标注错误会导致错误传递,影响下一次迭代中样本标注准确度,使得错误不断地被积累,造成最终分类超平面的偏移。在不均衡数据集下,传统支持向量机(support vector machine, SVM)对样本分类的错误率较高,导致TSVM在每次迭代中标注样本准确度不高。针对此,本文提出一种不均衡数据集下的直推式学习算法,该算法依据各类支持向量的密度分布关系动态计算各类的惩罚因子,提高每次迭代中样本标注的准确度,算法在继承渐进赋值和动态调整规则的基础上,减少分类超平面的偏移。最后,在KDD CUP99数据集上的仿真实验结果表明该算法能够提高TSVM在不均衡数据下的分类性能,降低误警率和漏报率。     

代价敏感的直推式支持向量机算法

针对不均衡数据集下分类超平面偏移导致直推式支持向量机样本标记准确率低的问题,结合动态代价和TSVM算法,提出一种代价敏感的TSVM算法,该算法依据类样本的空间分布信息计算类错分代价,利用KKT条件选择对当前分类超平面有影响的样本加入下一轮迭代,该算法可以提高初始分类器的分类性能,减少错误的传递和累积,从而提高标注准确率,增强最后分类器的泛化性能.最后在UCI数据集上的实验结果表明该算法在不均衡数据集下的有效性.     

一种改进的全局可靠性分析方法

基于Kriging模型的高效全局可靠性分析(EGRA)方法在每次循环迭代过程中只能增加一个样本点.为了提高EGRA方法的效率，提出了一种基于多代理模型的改进全局可靠性分析算法.通过引入Kriging模型的预测误差，在每次循环迭代过程中，计算多个代理模型的期望可行函数(EFF)获得多个最佳样本点，将这些样本点同时加入到样本库中并更新所有代理模型，直到满足给定的精度为止.在建立极限状态函数高质量的近似模型后，采用蒙特卡罗方法进行可靠性分析.两个数值算例的分析结果表明，该方法具有较高的效率和准确性.