MADALINES人工神经网络及快速学习算法研究

在研究ＭＡＤＡＬＩＮＥＳ人工神经网络中心差梯度学习算法（ＣＤＧ）的基础上，提出了一种加速中心梯度学习算法（ＳＣＤＧ），给出了该算法收敛性的证明，在计算机上模拟实现了ＳＣＤＧ算法且分析了实验结果，理论分析与实验均表明，ＳＣＤＧ算法较之传统的ＣＤＧ算法，收敛速度提高了二个数量级以上。     

凸-凹极小极大优化问题的零阶梯度下降上升算法

【目的】为了解决基于梯度下降上升算法在某些应用中,目标函数的梯度信息计算昂贵或难以获取的问题。【方法】基于此,针对一类凸-凹极小极大优化问题,在梯度下降上升算法(OGDA)的框架下,基于均匀分布的平滑化方法用差商来近似函数梯度信息,提出了一类零阶梯度下降上升算法(ZO-OGDA)。【结果】基于带误差的邻近点算法的收敛性分析理论,证明得到所提算法ZO-OGDA取得ε-稳定点的迭代复杂度为O(ε^-1)。【结论】最后通过数值仿真,实验结果表明所提出的算法ZO-OGDA在数值上与算法OGDA表现相近。     

一种新的基于梯度动力学的协同神经网络学习算法

在研究协同神经网络梯度动力学过程的基础上，针对学习过程收敛速度缓慢的缺点，介绍了一种改进的基于梯度动力学的协同神经网络学习算法。该算法分析了非平衡注意参数对学习过程的影响，简化了初始伴随向量的选取；并引入最优化理论，将该问题归结为求解非线性最优化问题，提出了适时地用共轭梯度法代替梯度下降法的算法，加快了学习过程的收敛。通过对标准人脸图像库的图像识别实验表明该算法较之其他学习算法有较高的识别率，并能较快地收敛到极小值。     

基于最优向量基线的参数探索策略梯度算法

策略梯度算法是深度强化学习领域中广泛使用的一类无模型强化学习方法,在实际应用中取得了突破性进展。策略梯度算法一直受到梯度估计方差大的困扰,基于参数探索的策略梯度算法(policy gradients with parameter based exploration,PGPE)从根本上缓解了该问题。通过最优基线技术的引入,策略梯度估计的方差进一步减小。然而,现有最优基线技术只使用标量值作为基线,忽略了策略梯度各维度之间的差异。针对此问题,本文提出一种向量基线概念并推导PGPE算法的最优向量基线表示,在理论上证明了引入最优向量基线的PGPE算法可以得到更小的梯度估计方差,并且实验验证了此算法的有效性。     

聚丙烯复合材料老化数据集成学习

聚丙烯复合材料老化实验周期长, 且单次实验采集的数据样本少, 使用传统机器学习方法进行预测的准确度较低. 为了解决聚丙烯复合材料老化数据样本少与预测准确性低的问题, 提出了一种虚拟样本生成(virtual sample generation, VSG)的集成学习预测方法. 首先, 对聚丙烯复合材料老化数据使用高斯混合模型(Gaussian mixed model, GMM)虚拟样本生成方法平滑生成验证有效的虚拟样本; 然后, 使用生成后的数据集建立集成学习预测模型, 该模型包含随机森林(random forest, RF)、极端梯度提升(extreme gradient boosting, XGBoost)算法、轻量级梯度提升机(light gradient boosting machine, LightGBM)算法以及分类梯度提升(categorical boosting, CatBoost)算法. 实验表明: 集成学习模型的 LightGBM 算法与 CatBoost 算法性能最优, 在测试数据上均方误差为 0.001 3 与 0.000 1, 比 RF 算法与 XGBoost 算法分别高出 0.4 与 0.2. 聚丙烯复合材料老化虚拟样本生成与集成学习方法可以有效解决实验周期长、单次实验采集的数据样本少的问题, 并可取得比单一机器学习算法更优的性能.     

基于自然梯度算法及其改进算法的盲源分离

自然梯度算法是盲源分离的重要方法,本文在介绍分析自然梯度算法基础上,将共轭梯度和自然梯度相结合改进了自然梯度算法的学习规则,通过两种算法的比较表明,基于共轭梯度改进的算法在性能和分离效果上都优于自然梯度算法。     

金属丝网规整填料的传质性能

为了研究金属丝网规整填料性能,在不同回流比条件下,考察了CDG1700Y和CDG2500Y型金属丝网规整填料在两种不同二元测试物系的传质性能.实验结果表明,这两种填料的压降随着液体流量的增大而增大,单位填料层高度的HETP变化趋势则相反;测试物系对传质效率有一定的影响;CDG1700Y和CDG2500Y型填料具有较高的理论板数,且CDG1700Y型填料具有较大的操作弹性.在SRP(Ⅱ)模型的基础上,获得了实验室条件下测试填料的气液传质系数的经验关联式,其预测值与实验结果吻合较好,可以为工业化设计提供指导.     

热释放率计算和预测的神经网络方法

基于多层前馈神经网络提出了火灾实验中不同材料热释放率的学习算法和预测技术．同时,将具有全局收敛特性的混合共轭梯度（ＭＣＧ）算法应用于该问题中多层前馈神经网络的训练,克服了传统ＢＰ算法收敛速度慢,推广性能差的缺陷．文中对ＭＣＧ方法进行了大量模拟,并将模拟结果与ＢＰ算法及带有动量项的ＢＰ算法作了全面比较,结果表明：ＭＣＧ方法不仅在学习速度和收敛性方面均优于传统的ＢＰ算法而且显示了良好的性能和行为     

距离观测方程非线性平差的正则化共轭梯度法

基于稳定泛函约束思想,推导了距离观测方程非线性平差的正则化共轭梯度法.该算法将稳定泛函约束作用于共轭梯度法,解决了共轭梯度法求解病态测距定位方程的不稳定甚至不收敛的问题,提高了正则化数值算法的收敛效率,最后采用模拟数据和水下定位实测数据进行了验证.实验结果表明,该算法具有较好的收敛稳定性,收敛效率优于迭代正则化算法.     

基于估计概率密度函数的独立分量分析方法

利用混合高斯模型，给出了估计概率密度函数算法，并利用高斯混合模型法获得了对分离矩阵的梯度学习算法，给出了一种迭代概率密度估计的独立分量分析学习算法．这种块处理方法可实现超、亚高斯混合信源的情况．最后在仿真实验过程中验证了该算法具有较高的稳定度和精确度。     

改进的 Hopfield 网络及汉字识别

针对Ｈｏｐｆｉｅｌｄ网络的局限性，本文提出了对Ｈｏｐｆｉｅｌｄ模型及联想记忆算法的改进：（１）改变其权对称性（２）引入反传学习算法（３）为避免在学习过程中出现振荡，引入基本反传值，并作了理论上的分析，运用改进的Ｈｏｐｆｉｅｌｄ网络进行相近的汉字识别，取得了较好效果。     

基于PBIL的多QoS约束选播路由算法

为了满足时延、时延抖动、带宽、丢包率多个服务质量约束下以最小代价选播路由,针对使用常规算法很难求得最优解,提出一种基于种群的增量学习(Population-Based Incremental Learning,PBIL)方法的多约束选播路由算法,该算法有效结合了遗传算法和竞争学习的优点,以更新概率向量为主要的快速进化手段,使得算法更加易于操作,同时对标准PBIL算法中的概率向量更新机制进行了改进,使用两个最优个体代替传统的仅使用单个最优个体,增加了更多优秀个体被选择保存到下一代的机会.最后给出了基于PBIL的选播路由算法和基于遗传优化的选播路由算法随机网络拓扑上的仿真比较,结果表明:算法在最优解的精确度上、成功率上以及执行速度上明显优于遗传算法求解.     

基于迭代学习控制算法的下肢外骨骼机器人跟随特性研究

目前下肢外骨骼机器人存在的运动控制算法追踪人体髋关节和膝关节期望轨迹时存在误差,从而导致人机系统随动性能差。因此,本文提出迭代学习控制算法追踪人体髋关节和膝关节期望轨迹。首先,结合人体下肢结构分析,建立下肢外骨骼机器人动力学模型;其次,基于迭代学习控制算法建立下肢外骨骼机器人随动控制模型;最后,利用Matlab软件设计指数变增益闭环D型运动控制系统,分析收敛速度与谱半径的关系,追踪得到人体下肢髋关节和膝关节期望轨迹。仿真结果表明该算法能够有效提高下肢外骨骼机器人步态轨迹跟踪精度,提升人机系统随动性能。     

基于鲁棒学习的鲁棒RBF神经网络

提出了一种基于鲁棒学习的鲁棒RBF神经网络。使用聚类方法选择RBF网络隐结点的中心,以鲁棒代价函数为目标函数,采用梯度下降法调整隐层结点的宽度和网络权值,从而使RBF网络的学习过程不受离群点的影响,并且能够快速收敛。仿真实验结果表明了RBF神经网络的鲁棒优越性。     

一种改进的局部多核学习算法

局部多核学习算法（LMKL）是一种变系数的多核支持向量机算法,其利用选通函数局部的选取合适的合成核函数;但是其选通函数有严重的参数沉余的问题,为此提出了改进的局部多核学习算法（ILMKL）,在其目标函数中加入正则项,区别于LMKL中选通函数的l1范数形式,使用选通函数的lp范数形式,增强核函数间的“互补”作用;采用该算法在模拟数据集和UCI数据集上实验,结果表明该算法取得较高的分类能力.     

Machine Learning-Based Multi-Modal Information Perception for Soft Robotic Hands

This paper focuses on multi-modal Information Perception(IP) for Soft Robotic Hands(SRHs) using Machine Learning(ML) algorithms.A flexible Optical Fiber-based Curvature Sensor(OFCS) is fabricated,consisting of a Light-Emitting Diode(LED),photosensitive detector,and optical fiber.Bending the roughened optical fiber generates lower light intensity,which reflecting the curvature of the soft finger.Together with the curvature and pressure information,multi-modal IP is performed to improve the recognition accuracy.Recognitions of gesture,object shape,size,and weight are implemented with multiple ML approaches,including the Supervised Learning Algorithms(SLAs) of K-Nearest Neighbor(KNN),Support Vector Machine(SVM),Logistic Regression(LR),and the unSupervised Learning Algorithm(un-SLA) of K-Means Clustering(KMC).Moreover,Optical Sensor Information(OSI),Pressure Sensor Information(PSI),and Double-Sensor Information(DSI) are adopted to compare the recognition accuracies.The experiment results demonstrate that the proposed sensors and recognition approaches are feasible and effective.The recognition accuracies obtained using the above ML algorithms and three modes of sensor information are higer than 85 percent for almost all combinations.Moreover,DSI is more accurate when compared to single modal sensor information and the KNN algorithm with a DSI outperforms the other combinations in recognition accuracy.     

一种基于PSO-ABC的全局优化算法

针对粒子群算法和蜂群算法在寻优中存在的一些早熟和收敛速精度不高等问题,论文分别时粒子算法和蜂群算法的更新策略以及更新公式进行了改进,利用改进的粒子群算法和改进的蜂群算法同时对一个粒子位置进行部分算术更新的方法,提出了一种新混合的优化算法.并将其在12个多极值基准函数进行全局最优化测试,实验结果表明,笔者提出的混合优化算法收敛的速度和收敛精度大大提高了,其性大大优于改进的粒子群算法（CLPSO算法）和人工蜂群算法,对于高、低维复杂函数的优化均适用.     

融合正弦余弦算法的蝴蝶优化算法

针对蝴蝶优化算法存在收敛速度慢、求解精度差和易陷入局部最优等缺陷,提出一种融合正弦余弦算法的蝴蝶优化算法.首先在蝴蝶自身认知部分引入非线性自适应因子,其次重新定义香味浓度计算公式,最后在局部搜索阶段引入改进的正弦余弦算法.通过19个基准函数的测试,实验结果表明,本算法在收敛速度、寻优精度和鲁棒性方面均优于蝴蝶优化算法(...     

基于免疫进化算法的Bayesian网结构学习

利用免疫进化算法（IEA）, 借助遗传和接种疫苗操作将基于打分和基于约束的两类Bayesian网结构学习方法有机地结合在一起, 提出一种新的Bayesian网结构学习方法. 通过与基于遗传算法的Bayesian网结构学习方法EGA(Expectation & Genetic Algorithm）的对比试验表明, 所提出算法的收敛速度更快、 学习得到网络的精度更高.     

模糊神经网络模型参考自适应控制及其应用

提出一种模糊神经网络的自适应控制方案，给出了一种模糊神经网络模型和快速的优化学习算法（ＦＬＡ），通过网络的在线自学习不断修正模糊神经网络控制器的隶属函数和权值，实现了模糊逻辑规则的自动更新，经仿真结果和倒立摆控制表明，这类自适应控制具有良好的控制性能。