地面站数传系统的RBFNN模型及算法

针对难以建立精确数学模型的地面站数传系统,提出改进梯度迭代学习的径向基神经网络建模方法。改进梯度学习算法通过训练样本相关性矩阵的主成分分析确定网络隐含层初始节点数;改进迭代过程中网络参数的梯度信息计算方式,加快了迭代收敛速度;并增加结构调整过程,实现对网络规模的精简。通过采集地面站数传系统输入-输出数据,将改进梯度学习算法应用于网络离线训练,并给出具体实现步骤。地面站数传资源配置优化实例验证了模型具有较高泛化能力,且算法稳定性较佳。     

基于压缩感知的多核稀疏最小二乘支持向量机

为了提高稀疏最小二乘支持向量机对高维、异构数据的泛化性能,提出新型的基于压缩感知的稀疏多核最小二乘支持向量机算法。首先根据压缩感知理论,用正交匹配追踪算法对最小二乘支持向量机的支持向量进行稀疏化,再利用线性多核扩展法求出新的核函数矩阵。将新的核矩阵应用到最小二乘支持向量机,得到稀疏多核最小二乘支持向量机的解,用稀疏的支持向量实现函数回归。理论分析与数据实验对比结果表明该模型对于高维、异构数据能够更快更准确地进行训练,大大提高了模型的泛化能力和运算速度。     

有限样本下模型选择理论与方法研究

从理论上给出有限样本下模型选择的方法,详细讨论了样本噪声对模型选择的影响,提出了一种次优模型选择算法,并进一步给出了一种推挽式模型选择算法,它能够有效地提高模型选择的学习速度。两种算法具有很强的抗噪声能力,预测模型也具有很好的推广性。最后通过具体数值试验验证了上述理论和方法的可行性和优越性。     

Improved scheme to accelerate sparse least squares support vector regression

The pruning algorithms for sparse least squares support vector regression machine are common methods,and easily comprehensible,but the computational burden in the training phase is heavy due to the retraining in performing the pruning process,which is not favorable for their applications.To this end,an improved scheme is proposed to accelerate sparse least squares support vector regression machine.A major advantage of this new scheme is based on the iterative methodology,which uses the previous training results instead of retraining,and its feasibility is strictly verified theoretically.Finally,experiments on benchmark data sets corroborate a significant saving of the training time with the same number of support vectors and predictive accuracy compared with the original pruning algorithms,and this speedup scheme is also extended to classification problem.     

#br# 基于自组合核的增量分类方法

在线极端学习机(online sequential extreme learning machine,OSELM)模型在解决动态数据实时分类问题时,无需批量计算,仅保留前一时刻训练模型,根据当前时刻样本调整原有模型即可。然而,该增量方法在离线训练阶段随机指定隐层神经元使模型鲁棒性差,且求解过程难以拓展于核方法,降低了分类效果。针对上述问题,提出一种基于自组合核的在线极端学习机(self compounding kernel online sequential extreme learning machine,SCK OSELM)模型。首先,提出一种新的自组合核(self compounding kernel,SCK)方法,构建样本不同核空间的非线性特征组合,该方法可被应用于其他监督核方法中。其次,以稀疏贝叶斯为理论基础将训练数据的先验分布作为模型权值引入,并利用超参调整权值后验分布,从而达到对当前时间点参数稀疏的目的。最后,将稀疏得到的参数并入下一时刻运算。对动态数据的实时分类实验表明,该方法是一种有效的增量学习算法。相比于OSELM,该方法在解决动态数据实时分类问题时获得更稳定、准确的分类效果。     

改进免疫算法在预测过程神经网络中的应用

基于过程神经网络（procedure neural network, PNN）建立了具有高精确度的多步预测模型。针对PNN训练过程复杂的特点,提出了一种基于正交基函数展开和矢量矩免疫算法(vector distance based immune algorithm, VD-IA)相结合的PNN训练方法。根据PNN在三角函数正交基展开形式下的数学模型,推导出适用于VD-IA的优化问题模型,采用一种自适应策略加快了VD IA的收敛速度。基于Mackey-Glass混沌序列检验了该方法的有效性,将该方法与BP训练方法、改进粒子群优化（improved particle swarm optimization, IPSO）算法进行了对比分析。仿真结果表明,基于VD-IA的PNN训练方法可以获得较优的结果,且获得泛化性能较好的PNN模型。     

Incremental support vector machine algorithm based on multi-kernel learning

A new incremental support vector machine (SVM) algorithm is proposed which is based on multiple kernel learning.Through introducing multiple kernel learning into the SVM incremental learning,large scale data set learning problem can be solved effectively.Furthermore,different punishments are adopted in allusion to the training subset and the acquired support vectors,which may help to improve the performance of SVM.Simulation results indicate that the proposed algorithm can not only solve the model selection problem in SVM incremental learning,but also improve the classification or prediction precision.     

复数神经网络的一种新型初始权值选择方法

为了改善学习速率,提出了一种确定复数神经网络初始权值的新颖方法。初始权值不是随机给定的,而是通过计算求得。具体方法是选择一类隐层神经元的变换函数(类支集函数),将输入层和隐层之间的复数权值计算出来,保证隐层的输出矩阵是满秩矩阵,并从理论上证明了这样的满秩矩阵是存在的。利用这个满秩矩阵,通过最小平方算法就可以求得隐层和输出层之间的复数权值。将这些权值作为初始权值,采用最速下降算法来对神经网络进行训练。初始权值的优化,使得该算法可以有效地提高复数神经网络的训练速度和计算精度。一个特例是当隐层神经元的个数与样本个数相等时,就可以求得代价函数值为0的全局最小点。计算机仿真实例验证了该算法的有效性。     

最小二乘支持向量机分类器的高稀疏化及应用

为减少训练完毕之后的最小二乘支持向量机的分类计算量,借鉴神经网络的快速剪枝策略,提出了一种新的稀疏化算法:HS-LSSVM。它在主成分分析基础上,筛选出样本子集作为支持向量,它们既包含较多核函数矩阵信息,又相互独立性强,具有较好的代表性。算法将其余个体的信息转移至支持向量上,在实现高度稀疏化的同时,良好地保持了LSSVM的分类性能,并能适用于多类问题。对多个分类问题的测试表明,HS-LSS-VM具有稀疏率高,分类性能强,且稀疏化速度较快等优点。     

基于同伦稀疏STAP的低空风切变风速估计

在机载气象雷达前视阵下,由于杂波的距离依赖性导致独立同分布(independent identically distribu-ted,ⅡD)训练样本严重不足,传统的空时自适应处理(space-time adaptive processing,STAP)算法性能下降,风场速度估计不准.针对此问题,提出一种基于同伦稀疏ST...     

基于形态学自适应分块的高分辨SAR多特征增强算法

传统基于l1范数正则化算子(least absolute shrinkage and selection operator,LASSO)模型的合成孔径雷达(synthetic aperture radar,SAR)压缩感知类稀疏成像算法易丢失弱散射点.基于扩展型组LASSO系列模型的算法虽可增强SAR结构特征以保留弱散...     

一种改进型神经网络算法NN-LMBP

提出最近邻Levenberg—Marquardt误差反向传播神经网络算法。针对BP神经网络收敛速度慢的不足，利用Levenberg—Marquardt优化算法进行改进。同时为了提高神经网络的泛化能力，进一步基于最近邻算法对样本进行修剪。试验表明，与一般神经网络算法相比，NN-LMBP在改善神经网络泛化能力的基础上，有效地提高了神经网络收敛的速度。     

KM-SVM法的SAR图像无监督变化检测

针对合成孔径雷达（synthetic aperture radar, SAR）图像变化检测获得有标记样本的数量十分有限且困难,传统方法检测率低等问题,提出了一种基于原始特征空间的K-均值和支持向量机(K--means and support vector machine, KM SVM)法SAR图像无监督变化检测。首先,不需要任何先验信息的条件下,利用K- means聚类方法获取差异图像的分类阈值;其次,利用阈值,引入偏移量,自动选取伪训练集和无标签集,并用伪训练集定义SVM的初始决策超平面;最后,用基于统计特征的半监督学习算法和支持向量机相结合对图像进行变化类与非变化类的分类。实验结果表明：该算法优于基于混合高斯分布模型的KI法和基于广义高斯分布模型的KI法,能保持较好的分类、泛化能力和较稳定的检测精度。这些结果表明了文中方法的有效性。     

基于Bagging-Down SGD算法的分布式深度网络

通过对大量数据进行训练并采用分布式深度学习算法可以学习到比较好的数据结构,而传统的分布式深度学习算法在处理大数据集时存在训练时间比较慢或者训练精度比较低的问题。提出Bootstrap向下聚合随机梯度下降(Bootstrap aggregating-down stochastic gradient descent,Bagging-Down SGD)算法重点来提高分布式深度网络的学习速率。Bagging-Down SGD算法通过在众多单机模型上加入速度控制器,对单机计算的参数值做统计处理,减少了参数更新的频率,并且可以使单机模型训练和参数更新在一定程度上分开,在保证训练精度的同时,提高了整个分布式模型的训练速度。该算法具有普适性,可以对多种类别的数据进行学习。     

基于广义模式耦合稀疏Bayesian学习的1-Bit压缩感知

在1-Bit压缩感知(compressive sensing, CS)框架下,将信号的稀疏结构先验引入广义稀疏Bayesian学习(generalized sparse Bayesian learning, Gr-SBL),研究基于Gr-SBL的1-Bit CS重构。将广义线性模型与模式耦合稀疏Bayesian学习相结合,提出了一种基于广义模式耦合稀疏Bayesian学习1-Bit CS重构算法，简称为1-Bit Gr-PC-SBL算法。该算法将1-Bit CS重构问题迭代地分解成一系列标准CS重构问题,在信号稀疏模式未知的情况下,基于模式耦合稀疏Bayesian学习实现信号重构。进而,引入阈值自适应的二进制量化,设计了自适应阈值的1-Bit Gr-PC-SBL算法,进一步提升了算法的信号重构性能。     

一种不依赖超参数的稀疏信号单快拍DOA估计方法

基于传感器阵列输出模型的稀疏重构, 研究了利用单快拍数据进行相干信号波达方向(direction-of-arrival, DOA)估计的问题。定义一个干扰协方差矩阵作为权矩阵, 通过加权最小二乘(weighted least squares, WLS)准则的迭代自适应求解, 实现单快拍DOA高精度估计算法, 简称WLS-IAE算法。详细分析了算法的计算复杂度, 并与经典的稀疏估计类算法进行比较。结果表明作为一种稀疏表示类估计方法, WLS-IAE算法不仅保持了在低信噪比、单快拍、信号相干、信号DOA角度间隔小等非理想条件下的良好估计性能, 而且无需选取超参数, 计算复杂度更低, 具有更强的实时性, 适用于快变目标信号DOA的实时跟踪测量, 具备潜在的工程实用价值。仿真实验验证了提出算法的有效性。     

基于改进的CNN和数据增强的SAR目标识别

针对合成孔径雷达(synthetic aperture radar, SAR)图像目标识别问题, 提出了基于改进的卷积神经网络和数据增强的SAR目标识别方法。首先在训练阶段引入Dropout, 随机删除部分神经元, 增强网络的泛化能力。其次, 在网络中引入L2正则化, 简化模型的同时降低结构风险, 并且能有效地抑制过拟合。然后, 采用Adam优化网络, 提高模型的收敛效率。最后, 采用优选的数据增强方法, 扩充SAR目标数据集, 为网络训练提供更为充足的样本, 进一步提高识别的准确率和模型的泛化性。在运动和静止目标获取与识别(moving and stationary target acquisition and recognition, MSTAR)数据集上进行了实验, 结果表明设计的卷积神经网络识别准确率高, 且具有更好的泛化性。     

基于广义模式耦合稀疏Bayesian学习的1-Bit压缩感知

在1-Bit压缩感知(compressive sensing, CS)框架下,将信号的稀疏结构先验引入广义稀疏Bayesian学习(generalized sparse Bayesian learning, Gr-SBL),研究基于Gr-SBL的1-Bit CS重构。将广义线性模型与模式耦合稀疏Bayesian学习相结合,提出了一种基于广义模式耦合稀疏Bayesian学习1-Bit CS重构算法，简称为1-Bit Gr-PC-SBL算法。该算法将1-Bit CS重构问题迭代地分解成一系列标准CS重构问题,在信号稀疏模式未知的情况下,基于模式耦合稀疏Bayesian学习实现信号重构。进而,引入阈值自适应的二进制量化,设计了自适应阈值的1-Bit Gr-PC-SBL算法,进一步提升了算法的信号重构性能。     

双参数Beta过程联合字典遥感图像超分辨

为了改善遥感图像超分辨重建(super-resolution reconstruction,SRR)效果,针对以往仅适用于单特征空间的稀疏字典超分辨算法,提出同时适用于两个特征空间的双参数Beta过程联合字典(Beta process joint dictionary,BPJD)遥感图像SRR方法。首先,根据遥感图像退化模型生成训练样本图像,并分别对高、低分辨率图像进行分块和Gibbs采样,生成字典训练样本。然后,依据BPJD,建立连接高、低分辨率遥感图像空间的双参数联合稀疏字典,将字典稀疏系数分解为系数权值和字典原子的乘积,依据字典原子指标训练和更新字典,得到高低分辨率联合字典映射矩阵。最后,进行遥感图像超分辨稀疏重构。实验结果表明:所提方法可自适应地缩小字典尺寸,能以更小尺寸的稀疏字典重建更高质量的超分辨遥感图像,重建结果图像的纹理细节信息更丰富,峰值信噪比和结构相似性度均有提高。     

可变先验贝叶斯学习稀疏SAR成像

针对合成孔径雷达(synthetic aperture radar, SAR)在稀疏成像中, 传统贝叶斯机器学习算法存在先验固化、成像结果容易过拟合等问题。提出一种可变成像先验贝叶斯(varying imaging prior Bayes, VIP-Bayes)学习稀疏SAR成像算法。首先, 引入可动态灵活表征目标散射特征的广义高斯分布先验。然后，在贝叶斯推理框架下进行分层建模, 后验分布推导。最后, 针对常规吉布斯采样算法无法采样复杂后验分布的问题, 引入哈密顿蒙特卡罗(Hamiltonian Monte Carlo, HMC)采样算法进行求解。另外, 考虑到HMC算法对非平滑后验分布无法采样，因此引入近端算子, 进行近端梯度近似, 提出近端-HMC(proximal-HMC, P-HMC)算法。P-HMC算法可有效解决非平滑后验采样问题。因而可实现VIP-Bayes稀疏成像。通过仿真数据进行算法有效性验证, 选取SAR实测数据与多种算法进行成像对比实验, 利用相变热力图对算法成像性能进行定量分析，验证了所提算法的实用性和优越性。