基于EfficientDet的高效目标检测算法研究

针对神经网络训练时收敛慢和模型泛化能力差的问题,文章首先分析传统的和基于深度学习的目标检测算法各自的优势和不足,接着概括梯度下降法各种变体优化算法和现阶段主流数据增强方法对应的优缺点,最后对训练时的优化问题提出组合使用AdaMod和AdamW的训练优化方案,提高了训练网络收敛效率。针对深度神经网络性能表现比较依赖于数据集从而导致泛化能力差的问题,该文使用基于线性插值的数据增强方案,对类别不同的样本之间的领域关系进行建模,增强了神经网络的健壮性。在VOC07+12数据集上实验结果表明EfficientDet-d0检测算法模型参数量、浮点计算量、精度和泛化性能比较均衡,泛化能力得到增强,训练过程收敛更快,验证了该文提出的训练优化方案和使用的数据增强方法是有效的。     

基于小批量梯度下降的布谷鸟搜索算法

布谷鸟搜索算法是一种解决函数目标优化问题的全局搜索算法,具有选用参数少、容易实现、搜索路径优、寻优能力强等特点。为了提高布谷鸟搜索算法的求精能力和收敛速度,改善后期收敛慢和搜索精度不稳定的问题,提出了一种基于小批量梯度下降的布谷鸟搜索算法。引入小批量梯度下降,优化寻找最优解的过程,加快局部最优的搜索,从而提高算法的求精能力和收敛速度。仿真实验结果表明,基于小批量梯度下降的布谷鸟搜索算法简单高效,在保持标准布谷鸟搜索算法优点的基础上提高了算法的收敛速度和寻优精度,具有较强的稳定性和鲁棒性。     

修正的解相关前馈神经网络盲均衡算法研究

针对基于传统梯度下降算法的前馈神经网络盲均衡在输入线性相关条件下收敛速度慢的问题,提出了一种修正解相关前馈神经网络盲均衡改进算法。对接收观测数据进行解相关处理,使梯度方向保持正交,同时,设定判断阈值,如果前馈神经网络输入相关系数大于阈值,说明输入向量强相关,保持梯度更新大小和方向不变,以克服强相关输入条件下解相关算法收敛停滞的问题。计算机仿真结果表明,文中提出的算法与基于直接梯度下降算法和传统解相关前馈神经网络盲均衡算法相比具有更快的收敛速度,有效提高了均衡性能。     

随机梯度估值在盲均衡算法中的影响

利用代价函数求梯度值,再利用梯度值进行迭代是一种最速下降法,在各种盲均衡算法中广泛使用,其收敛速度较快,收敛误差较小,但未考虑信道中随机多变的噪声对其产生的影响.该文引入随机梯度估值,在梯度向量中加入噪声成分,结合梯度估值引起的权偏差相关系数,分析其对盲均衡算法的影响.理论研究和仿真结果表明,随机梯度估值引起权值偏差,影响着算法的收敛速度和剩余误差.     

基于Kalman滤波的基本Elman网络训练新算法

Kalman滤波算法应用于基本Elman网络学习时,收敛速度较快,但收敛精度往往不高;而基于梯度下降的BP算法可以以很高的精度实现输入输出的非线性映射,但在极值点处收敛速度缓慢.针对上述问题,提出一种将Kalman滤波算法应用于基本Elman网络的新学习训练算法.该算法结合Kalman滤波算法和基于梯度下降的BP算法的优点来训练网络,以基本Elman网络隐层单元输出作为非线性系统的状态变量,通过Kalman滤波算法实现状态变量的快速准确跟踪,然后通过梯度下降法修正权值以保证精度.另外,在训练过程中,通过增加训练样本的信息内容来提高网络收敛的精度.仿真结果表明了该算法的有效性.     

利用记忆梯度法改进的变步长恒模盲均衡算法研究

针对传统恒模盲均衡算法收敛速度慢、固定步长条件下收敛速度和收敛精度之间存在矛盾的缺陷,提出了一种利用记忆梯度法改进的变步长恒模盲均衡算法。用记忆梯度算法替代最速梯度下降算法实现对恒模盲均衡中均衡器权值的调整,充分利用当前和前面迭代点的梯度信息,同时利用梯度信息变化率作为学习步长调整因子。新算法有效地提高了算法收敛速度,与共轭梯度法和拟牛顿法等改进算法比较,具有较低的计算复杂度和更好的均衡性能。计算机仿真证明了这一算法的有效性。     

引入Renyi熵的正交小波盲均衡的快速算法

把一种最新的基于Renyi熵的随机梯度最陡下降的盲均衡算法引入到正交小波CMA盲均衡(WBCMA)中，使得正交小波盲均衡算法的收敛速度显著增加，而计算量却增加很少。     

基于神经网络语言模型的动态层序Softmax训练算法

针对词向量训练过程中层序Softmax算法无法进行增量训练及海量数据训练低效的问题,提出了动态层序Softmax算法.通过对数据样本的增量加载,采用结点置换方法动态构建编码树,实现对样本的增量训练.为避免损失函数因样本量较少而呈现震荡式下降,利用梯度的一阶矩估计与二阶矩估计动态调整参数更新方向与学习率,通过梯度迭代缩小权值变化范围和收敛训练误差,提高词向量的训练效率.以维基百科中文语料作为数据进行了试验,完成了训练效率和质量的分析.结果表明:相较于现有方法动态层序Softmax算法显著提高了训练效率,当增量样本大小为10 kB～1 MB时,训练增速有近30倍的提升,有效地缩短训练周期.     

基于随机加速对偶下降算法的分布式网络流量优化

传统的分布式网络流量优化问题大都通过对偶梯度下降算法来解决,虽然该算法能够以分布式方式来实现,但其收效速度较慢。加速对偶下降（accelerated dual descent,ADD)算法通过近似牛顿步长的分布式计算,提高了对偶梯度下降算法的收敛速率。但由于通信网络的不确定性,在约束不确定时,该算法的收敛性难以保证。基于此,提出了一种随机形式的ADD算法来解决该网络优化问题。理论上证明了随机ADD算法在不确定性的均方误差有界时,能以较高概率收敛于最优值的一个误差邻域;当给出更严格的不确定性的约束条件时,算法则可以较高概率收敛于最优值。实验结果表明,随机ADD算法的收敛速率比随机梯度下降算法快2个数量级。     

基于自适应粒子群优化算法的神经网络的优化研究

针对传统的神经网络训练算法收敛速度慢和泛化性能低的缺陷,提出一种新的自适应粒子群优化算法用于神经网络的训练.该算法通过改进自适应搜索策略以提高网络泛化性能,并结合Ionosphere雷达信号分类数据集进行仿真测试.研究结果表明:基于自适应粒子群优化算法训练的神经网络在分类准确率和分类误差上明显优于传统的BP算法,且很好地提高了网络泛化能力和优化效果.     

基于小批量梯度下降法的FIR滤波器

针对梯度下降算法收敛速度慢,每次更新梯度都使用全部的样本点数且计算量大、复杂度高等问题,提出一种新型的用于相干光接收机的色散补偿FIR(finite-length impulse response)滤波器.在Matlab中搭建基带多速率相干光通信系统传输模型,利用小批量梯度下降法(mini-batch gradient...     

一种基于粒子群优化的极限学习过程神经网络

本文针对过程神经元网络(Process Neural Network,PNN)模型学习参数较多,正交基展开后的梯度下降算法初值敏感、计算复杂、不易收敛等问题,结合极限学习机(Extreme Learning Machine,ELM)的快速学习特性,提出了一种新型的极限学习过程神经元网络.学习过程中摒弃梯度下降算法的迭代调整策略,采用Moore-Penrose广义逆计算输出权值矩阵.同时为弥补极限学习机由于随机赋值造成的不足,利用粒子群算法(Particle Swarm Optimization,PSO)良好的全局搜索能力进行模型参数优化,获得紧凑的网络结构,提高了模型泛化能力.仿真实验以Henon混沌时间序列和太阳黑子预测为例,验证了网络的有效性.     

基于共轭梯度法和最速下降法的非线性测量数据处理

将共轭梯度法与最速下降法有机结合起来，构造出一种解决非线性测量数据处理问题的新方法——混合算法。这种方法充分利用了共轭梯度法和最速下降法良好的收敛优点，既提高了共轭梯度算法的收敛速度，又解决了目标函数“性态不优”时，最速下降法难以解决的问题。文中的算例结果表明，混合算法与单纯的共轭梯度法或最速下降法相比，具有收敛速度快、收敛范围大、适应面宽等特点。     

基于半正定规划的SIMO信道盲均衡方法

针对数字通信单输入多输出(SIMO)系统中的信道盲均衡问题,使用优化理论中的半正定规划(SDP)方法,对采用随机梯度法求解的二阶统计量盲均衡算法(MSOSA)进行改进,给出了一种新的盲均衡求解算法SDP-MSOSA.相比采用随机梯度迭代法实现的MSOSA,SDP-MSOSA需要的数据样点更少,且收敛后的稳态误差更小,能够更加有效地消除码间干扰,仿真实验验证了算法SDP-MSOSA的有效性.     

一种基于卷积网络的地震探测数据随机噪声去除方法

为有效提高地震数据信噪比,通过卷积神经网络(convolutional neural network,CNN)的方法研究了地震勘探数据去除随机噪声问题.该方法包含17个卷积层,使用线性整流(rectified linear unit,ReLU)激活函数避免梯度消失,使用批量标准化(batch normalization,BN)提高网络的泛化能力.所构建的网络应用残差学习策略,即输入为含噪地震正演叠前数据,输出为CNN网络学习获得的随机噪声.然后从地震记录中减去网络预测的噪声数据,从而达到去除随机噪声的目的.同时,根据地震勘探数据振幅随探测时间衰减的规律,在网络训练过程中进行深度加权,使得CNN对于深部噪声的学习效果更好.网络在PyTorch框架下训练,应用图形处理器并行计算可以有效提高网络训练速度.利用训练好的网络进行去噪实验,结果表明与传统的时空域预测滤波法相比,该网络能更好地压制随机噪声.可见针对地震勘探数据,CNN能够有效提取含噪数据中的噪声信息,证明了该方法在去除随机噪声方面的合理性与有效性.     

采用瞬时梯度变化率判决的双模式盲均衡算法

为进一步提高恒模盲均衡算法的性能,文中提出了一种采用瞬时梯度变化率判决的双模式盲均衡算法。利用两次相邻均衡迭代前后的归一化权值变化量定义瞬时梯度变化率,并依此设置判据实现均衡迭代过程中的恒模算法和判决引导算法的适时切换,实现双模式盲均衡算法。双模式盲均衡算法可以有效结合恒模算法稳健和判决引导算法快速收敛和收敛精度高的优点,提高盲均衡算法的性能,计算机仿真结果证明了算法的有效性。     

前馈神经网络复值盲均衡算法的研究

提出了一种新的前馈神经网络(N-FNN)复值盲均衡算法。新算法改变了传统均衡技术大量发送训练序列而降低系统传输的有效信息率,有效地消除码间干扰,提高了通信质量。笔者设计出新的传递函数和代价函数,利用最陡梯度下降法推导出输出层和隐层单元权值的迭代公式。通过对QAM信号进行计算机仿真,笔者提出的新算法与同类算法相比,具有均方误差收敛速度加快、误码率降低、稳态剩余误差减小等优点     

卷积神经网络与人工水母搜索的图特征选择方法

目前，卷积神经网络（Convolutional Neural Network,CNN）模型在处理图像数据时分类效果较差，人工水母搜索（Artificial Jellyfish Search,AJS）算法收敛速度慢，迭代次数多，特征选择的效果不理想.针对上述问题，提出一种基于CNN和AJS的图特征选择方法 .首先，使用CNN来提取特征，将生成的特征图进行图嵌入降维，再使用AJS算法进行特征选择，把得到的特征输入分类器，进行模型训练和评估；然后，在图嵌入阶段，将特征图进行随机游走，并通过添加特征权重计算节点的游走概率来增强权重大的节点的游走概率，提高分类精度；最后，在AJS算法中引入余弦公式对人工水母的位置进行更新，充分考虑特征向量之间的相似性，提高算法的收敛速度并减少迭代次数.在10个基准函数上进行实验，结果表明改进的AJS算法具有较好的优化性能.在四个数据集上，将提出的算法与其他算法进行对比实验，实验结果表明，提出的算法能提高分类精度，减少迭代次数.     

基于粒子群优化的因子分解机算法

因子分解机(Factorization Machine,FM)是利用矩阵分解思路针对推荐系统中数据稀疏情况设计的机器学习算法.传统的FM模型参数是通过梯度下降方法进行优化求解,但针对数据集训练样本较少的情况,梯度下降方法不能保证参数收敛到全局最优.粒子群算法(Particle Swarm Optimization,PSO)是一种快速启发式算法,具有全局搜索的特性.为提高FM模型的表现能力,首先基于PSO算法确定全局最优位置,然后利用梯度下降优化FM参数,本文提出了PSO-FM算法.在数据集Diabetes进行实验对比,结果表明,改进后的基于粒子群的因子分解机算法PSO-FM在模型训练速度和预测准确度上都优于传统的因子分解机FM算法.     

基于Fibonacci采样的数据预处理方法研究

提高神经网络(NN)的收敛速率和预测精度一直是人工智能领域的一个挑战性问题,尽管许多研究人员已在研究中使用小批量数据训练神经网络获得了较好的效果,但是这些方法并不够灵活.针对这个问题,该文提出了一种新的数据预处理算法即Fibonacci采样算法.根据Fibonacci数列规则绘制一个新的训练数据序列,这不仅可以恢复小批...