基于CNN的车辆检测中激活函数的研究

视频车辆检测是计算机视觉应用于汽车辅助驾驶系统的主要技术难点之一,卷积神经网络是现在视频车辆检测性能最好的计算机视觉算法,激活函数是卷积神经网络算法的重要模块,影响神经网络的收敛性和精确度。本文主要在模型训练和模型验证两个阶段分析激活函数的影响,讨论的函数包括sigmoid函数、Relu函数、Leaky-Relu函数及提出的一种半饱和ssatu函数,实验是以车辆检测YOLOv2算法为基础对不同激活函数的效果做了比较分析。实验表明:软饱和函数sigmoid和函数ssatu使模型收敛的速度最快,且连续可导非线性sigmoid函数使模型训练中损失值的振荡最小;在模型性能上体现出不抑制特征点的分段函数更适用于一般性的创建卷积神经网络。     

基于KL变换的点匹配

提出了一种新的点匹配算法.算法分别提取点集中点的特征,用KL变换得到点的KL特征,通过比较KL特征获取点集间匹配关系.文中定义了点集中点的特征,给出了几种提取点特征的方法.分析了KL特征的稳定性和能量集中性,据此提出了基于KL变换的点匹配算法.文章结合经典的特征向量匹配算法,从算法抗噪性能分析着手,分别由能量守恒性质和最小方差匹配原则推导得出经典特征向量算法是KL算法的特例,KL算法更具普遍性的结论.通过实验,证明了算法的有效性及结论的正确性.     

卷积神经网络及其研究进展

深度学习是目前机器学习领域最热门的研究方向,轰动全球的AlphaGo就是用深度学习算法训练的.卷积神经网络是用深度学习算法训练的一种模型,它在计算机视觉领域应用广泛,而且获得了巨大的成功.本文的主要目的有2个:一是帮助读者深入理解卷积神经网络,包括网络结构、核心概念、操作和训练;二是对卷积神经网络的近期研究进展进行综述,重点综述了激活函数、池化、训练及应用4个方面的研究进展.另外,还对其面临的挑战和热点研究方向进行了讨论.本文将为从事相关研究的人员提供很好的帮助.     

大型BP神经网络学习算法

神经网络训练是一个ＮＰ完全问题，提出一种集成学习算法，理论分析与计算机模拟结果表明这种学习算法具有学习结果准确，学习速度快等特点，尤其适用于大型ＢＰ神经网络。     

基于自适应粒子群优化算法的神经网络的优化研究

针对传统的神经网络训练算法收敛速度慢和泛化性能低的缺陷,提出一种新的自适应粒子群优化算法用于神经网络的训练.该算法通过改进自适应搜索策略以提高网络泛化性能,并结合Ionosphere雷达信号分类数据集进行仿真测试.研究结果表明:基于自适应粒子群优化算法训练的神经网络在分类准确率和分类误差上明显优于传统的BP算法,且很好地提高了网络泛化能力和优化效果.     

基于KL距离的卷积神经网络人脸特征提取模型

为了克服欧式距离的度量方法在人脸特征表达上的不足,提出了一种基于KL距离的卷积神经网络人脸特征提取模型。通过卷积神经网络将输入样本转换为一个概率分布,利用KL距离度量不同样本之间概率分布的差异,并定义了一个代价函数对此距离进行优化,最后使用反向传播算法修改卷积神经网络的参数,使网络对人脸特征有更强的区分能力。将提取的特征向量通过神经网络分类器进行人脸验证,在YouTube等人脸库上进行了测试。试验结果表明,该方法不仅能提高正确率,而且还具有更好的泛化性能。     

基于Hebb规则的积分保持型PID神经网络多变量控制器

提出了一个积分保持型PID神经网络多变量控制器 ,网络的学习算法采用一种简单的类似Hebb规则的算法 .当将该控制器应用于多变量耦合的非线性系统的控制时 ,计算机仿真结果表明 ,网络的训练速度快 ,对权的初值的依赖性小 ,控制系统的动态和静态性能较好 .     

基于复合神经网络的网络业务分类算法

针对目前计算机网络业务流管理问题,提出了一种基于复合神经网络的网络业务分类方案．将复合神经网络用于网络业务源特征提取与分类的研究中,打包法和BP算法结合用于复合神经网络的训练．并分析比较与单个神经网络和模糊神经网络算法用于网络业务分类效果．计算机仿真结果表明,复合神经网络分类收敛快、误差小,比单个神经网络算法和模糊神经网络算法更优越；同时,研究结果为解决网络业务源特征提取与分类提供了一种有效的途径．     

基于BP神经网络算法的Filtered-OFDM系统的信道估计算法研究

Filtered-OFDM波形是满足5G网络要求的重要候选波形之一,而信道估计的准确性一直以来是现代通信系统中非常关键的技术指标.为了提高5G网络信道估计的准确性,将一种BP神经网络信道估计算法应用于Filtered-OFDM系统中.将少量的参考信号输入神经网络进行训练,使其适应信道的变化,再将接收信号输入神经网络估计整个信道的频率响应.经过算法研究和系统仿真发现,与传统的LS算法相比,BP神经网络算法可以有效降低系统的误码率(BER).同时,从系统复杂度上考虑,BP神经网络算法通过一次神经网络训练操作,就可有效估计出大量符号的信道信息,是一种复杂度适中的算法.     

神经网络基于改进型粒子群算法的研究

提出一种基于被动聚集型粒子群优化算法来提高人工神经网络的性能,被动聚集是保持群体完整性的生物力量,该算法引入了生物学中被动聚集的概念,使得信息在种群各粒子间传播,保持种群的多样性。仿真实验表明:基于改进型粒子群优化算法的神经网络可以有效降低训练次数和均方误差。     

一种新的前馈神经网络删剪算法

前馈神经网络中隐层神经元的个数与它的学习和泛化能力密切相关.通过广义逆矩阵算法解决最小二乘问题改进神经网络自构行学习算法,得到一种新的前馈神经网络删剪算法.将新算法用于已经训练好的大型网络,能删剪“冗余”的隐层神经元,得到一个最精简的神经网络.此精简的神经网络不需要重新训练仍能保持原有的性能,并且泛化能力很好.仿真实例说明此算法的有效性和可行性.     

基于Hebb规则的积分保持型PID神经网络多变量控制器

提出了一个积分保持型PID神经网络多变量控制器。网络的学习算法采用一种简单的类似Hebb规则的算法。当将该控制器应用于多变量耦合的非线性系统的控制时，计算机仿真结果表明，网络的训练速度快，对权的初值的依赖性小，控制系统的动态和静态性能较好。     

基于ACO优化小波神经网络的语音识别

蚁群优化(Ant Colony Optimization,ACO)算法是根据解决不同优化问题的多个蚂蚁算法所归纳出的解决复杂的组合优化问题的一个一般框架。本文首先研究ACO算法的原理及其结构框架,在此基础上,引入蚁群优化算法进行小波神经网络的训练,对ACO训练小波神经网络步骤和方法进行了研究。并与BP算法、遗传算法、模拟退火算法进行性能比较,将各种方法训练的小波神经网络用于噪声环境下的语音识别。仿真结果表明,基于ACO算法训练的神经网络在收敛速度上更具有优势,能够获得较小的均方误差值,对于非特定人噪声环境下的语音识别的正确率达到96%,是一种有效的语音识别方法。     

基于PLS-PSO-Elman的飞机燃油流量预测

传统的Elman神经网络处理高维度、多样本的复杂数据时,将出现一系列问题.如网络结构冗余、训练不完善、学习精度差等.这些缺陷不仅会导致网络工作效率低,而且还会使其识别精度差.将偏最小二乘回归(partial least squares,PLS)和粒子群算法(particle swarm optimization,PSO)与Elman神经网络相结合,提出了一种基于PLS和PSO优化的Elman神经网络算法(PLS-PSO-Elman).该算法通过PLS减少数据维度,获得较为理想的低维数据,达到简化网络结构的目的;然后利用PSO算法优化神经网络连接权重、阈值和隐含层神经元数量,弥补Elman算法训练不完善、学习精度差的缺陷;最后基于PLS与PSO双重优化的新算法对飞机燃油流量进行预测.实验表明,新算法有较高的运算效率与预测精度.     

Jordan神经网络的改进研究

针对Jordan神经网络的反馈网络的反馈信息表征能力不强的缺点,提出了一种新的反馈网络模型,对Jordan神经网络的缺点进行了改进,并且对原来的训练学习算法进行了改进,提出了一种提取绝对值最大权的训练学习算法来降低计算复杂性,最终给出了实验结果证明。     

一种改进人工鱼群算法对BP神经网络的优化研究

针对BP神经网络存在易陷入局部极值的缺陷,提出一种基于改进的人工鱼群算法优化的BP神经网络.先用改进的人工鱼群算法优化BP神经网络的初始权值和阀值,然后再执行BP算法训练BP神经网络的权值和阀值.函数拟合仿真实验表明该优化方法提高了BP神经网络的泛化性能.     

基于连续优化蚁群算法的神经网络在喷射器性能预测中的应用

以现有的喷射器实验数据集作为样本,用单隐层前向神经网络预测喷射器的性能,网络的训练分别采用连续蚁群系统(CACS)算法和连续蚁群优化(ACOR)算法.数值实验结果显示,用这两种蚁群算法所训练的神经网络对于喷射器性能的预测精度能够满足实际工程的要求,其中ACOR算法的训练误差小于一般的BP算法,预测精度也有所提高.     

基于正交多项式神经网络的卫星网络QoS路由算法

QoS路由问题作为多目标约束优化问题,是一种非确定多项式完全(NP-complete)问题,目前在地面网络中多使用启发式算法求解。卫星网络的拓扑时变特性要求路由算法快速收敛,而高昂的信息交换代价又要求尽量减少星间控制信息交换,这导致绝大多数探测导向型的启发式路由算法应用在星上时性能不高。该文引入一种基于正交多项式神经网络的卫星网络QoS路由算法,将数据包路由过程类比为在经训练过的神经网络中分类的过程;同时正交多项式的使用提高了训练速率,保证了拓扑周期内训练结果的有效性。仿真结果表明:该路由算法在满足用户QoS需求的同时还降低了链路拥塞、丢包率、呼叫阻塞率等指标。     

一种基于灰度区间的BP神经网络算法研究

为了不断提高前向神经网络的学习能力,考虑在神经网络学习和训练的过程中引入灰色系统理论,设计出一种新型的神经网络算法（GBP）。该算法通过减少输入向量空间的灰度,使得神经网络的输入向量进一步优化,从而更加有利于神经网络的学习和训练。最后通过模拟实验表明,新设计的算法比经典的BP算法有更高的效率,该算法具有训练速度快、泛化能力强等特点,是一种有效的学习方法。     

改进BP神经网络在发动机性能趋势分析和故障诊断中的应用

针对常规BP神经网络参数的经验式取值方法以及收敛速度慢,容易陷入局部最小点等缺陷,设计了一种改进的神经网络系统,利用蚁群算法优化神经网络连接权初值,并采用LM算法对人工神经网络进行训练,提高了网络的收敛速度,降低了训练误差。将其应用于某型利用ACARS报文实时获取飞机性能参数的发动机趋势分析和故障诊断中,可以快速准确地实现对发动机的性能趋势分析和复杂故障的诊断。最后通过仿真,对算法进行检验,结果表明改进算法的诊断置信度比改进前高。