基于正则化元学习的小样本图像分类算法

现有元学习方法的初始模型在训练过程中会偏向于某些任务，从而影响元学习方法的泛化能力。针对以上不足，提出了基于正则化元学习算法(Regularized Meta Learning,REML)用于小样本图像分类。该算法通过在元学习的目标函数中添加正则化项，以阻止元学习的初始模型偏向于部分训练任务，使元学习模型具有更强适应新任务的能力。此外针对元学习过程中涉及二阶求导使得计算量较大的不足，采用一阶导数近似二阶导数，以减小元学习模型训练所需计算量。在mini Image Net、CUB-200和CIFAR-100这3个数据集上进行的实验验证本文算法性能。实验结果表明，提出的算法能够增强元学习的泛化能力，从而提高小样本图像分类的性能，同时减小元学习算法训练参数的计算量。     

贝叶斯正则化的 BP 神经网络在经济预测中的应用

本文应用Bayesian正则化算法改进BP神经网络泛化能力.通过对湖北省1985年-2004年关于经济发展水平的数据进行拟和以及预测,结果表明采用Bayesian正则化算法比相同条件下采用其他改进算法泛化能力要好,收敛速度快、预测精度高,方法简单,操作方便.实例分析表明, 贝叶斯正则化算法优化BP神经网络的方法是令人满意的,对经济预测有良好的预测效果.     

桥梁移动荷载的识别与参数分析

采用样条函数逼近法对简支梁桥与多跨连续梁桥上移动荷载进行识别和参数分析．由欧拉梁理论与模 态叠加法,建立了移动荷载作用下的梁桥运动方程;利用样条最小二乘法逼近应变响应;由Tikhonov正则化方 法与奇异值分解得到了荷载识别的正则解．数值分析中,对简支梁和三跨连续梁上的移动时变力和车桥接触 力进行了识别,并对影响因素进行了参数分析．研究结果表明,采用样条函数逼近法能有效地识别简支梁与 连续梁桥上的移动荷载,具有很强的实用性和抗噪性能,且对简支梁桥移动荷载的识别精度和抗噪性能均高 于连续梁桥;采用Tikhonov正则化方法能够得到荷载识别的稳定解,并可提高识别精度和降低噪声敏感性．     

基于小波基的SVM多气体融合

为了提高气体传感器在多气体环境下的检测灵敏度,基于小波对偶框架和支持向量核函数的条件,提出了一种支持向量小波核函数.该核函数具备小波的多尺度插值特性和稀疏变化特性,提高了模型的精度和迭代的收敛速度,适用于信号的局部分析、信噪分离和突变信号的检测,从而能在提高支持向量机(SVM:Support Vector Machine)泛化能力的同时,提高辨识效果,减少计算量.基于该核函数和正则化理论提出的最小二乘小波支持向量机用于非线性系统辨识,对sin c函数的逼近.该小波核得到的绝对误差不超过0.004;在多气体分析中,比RBF(Radial Base Function)核所得的偏差小18.3%.这些表明SVM小波核具有更好的泛化能力.     

基于Bayesian正则化算法的非线性函数拟合

为克服常规BP算法在解决非线性函数拟合时泛化能力不强的问题,本文研究了用贝叶斯正则化算法来提高网络泛化能力的问题,结果表明在相同网络规模或误差条件下,Bayesian正则化算法泛化能力明显优于基本BP算法及其它改进的BP算法,且收敛速度较快,拟合效果好。     

基于小波的支持向量机算法研究

基于小波对偶框架和支持向量核函数的条件,提出了一种支持向量小波核函数.该核函数利用小波的多尺度插值特性和稀疏变化特性,不仅提高了模型的精度和迭代的收敛速度,而且还适用于信号的局部分析、信噪分离和突变信号的检测,从而在提高支持向量机(SVM)泛化能力的同时,提高了辨识效果和减少了计算量.基于该核函数和正则化理论提出的最小二乘小波支持向量机用于非线性系统辨识,对SINC函数的逼近,该小波核得到的均方根误差不足高斯径向基核的1/12,对logistic混沌序列预测的均方根误差不超过8×10-6,同时实验表明,预测的长度对预测均方根误差没有显著影响,这表明小波核SVM具有更好的泛化能力.     

神经机器翻译的词级别正则化

由于神经机器翻译模型具有大规模参数且其性能极大地依赖大规模高质量平行语料,当训练数据规模小于模型复杂度时,模型易出现过拟合问题而泛化能力不足.针对此问题,研究了词级别的正则化技术,通过对模型输入句子中的单词进行随机干扰,以此削弱数据的特异性,从而抑制模型对于数据的过度学习,防止过拟合,提高模型的泛化能力.通过Transformer模型在标准规模中文-英语数据集和中小规模英语-土耳其语数据集上进行的相关实验,结果证明词级别正则化方法能够使模型在收敛后更加稳定,不易出现过拟合的情况,并且翻译质量也得到了明显的提升.     

基于流形正则化的在线半监督极限学习机

在基于流形正则化的半监督极限学习机(SS-ELM)的基础上,利用分块矩阵的运算法则,提出了在线半监督极限学习机(OSS-ELM)方法.为避免在实时学习的过程中由于数据累积引起的内存不足,通过对SS-ELM的目标函数的流形正则项的近似,给出了OSS-ELM的近似算法OSSELM(buffer).在Abalone数据集上的实验显示,OSS-ELM(buffer)在线学习的累计时间与所处理的样本个数呈线性关系,同时,9个公共数据集上的实验表明,OSS-ELM(buffer)的泛化能力与SS-ELM的泛化能力的相对偏差在1%以下.这些实验结果说明,OSS-ELM(buffer)不仅解决了内存问题,还在基本保持SS-ELM泛化能力的基础上大幅度提高了在线学习速度,可以有效应用于在线半监督学习当中.     

带光滑L_(1/2)正则化项的神经网络逆向迭代算法收敛性分析

L1/2正则子比L2正则子更具稀疏性,有更强的剪枝能力;但其非凸、非光滑以及不满足Lipschitz条件的函数性质,使神经网络训练过程易于出现数值振荡现象,并且给收敛性分析带来理论困难。用光滑函数逼近L1/2正则子在克服数值振荡的同时可以保证目标函数具有良好的连续可微性质。针对提出的带光滑L1/2正则化项的逆向迭代神经网络模型,证明了误差函数的单调递减性质及算法的确定型收敛性:弱收敛和强收敛。数值实验表明,新的逆向迭代学习算法较已有算法保证了输入向量序列在训练过程中的稳定性及稀疏性,并有较好的泛化能力。     

基于L曲线方法的Lasso正则化参数选择

大数据背景下,基于罚函数的正则化方法是高维数据变量选择的重要方法.Lasso估计是常用的变量选择方法,而Lasso正则化参数的取值直接影响选择模型的性能,是正则化方法成败的关键.针对Lasso估计,提出一种新的L曲线(LC)准则选择正则化参数.数值模拟和实际应用表明:相比CV,GCV,BIC等准则,LC准则能够以较高的...     

基于主成份分析的Bagging集成学习方法

机器学习中数据集的冗余特征会影响学习器的泛化能力，一些流行方法如支持向量机和集成学习也难免于此．研究了利用主成份分析进行特征变换对Bagging集成学习算法的影响，提出一种称为PCA—Bagging的算法，并与其它算法比如单个支持向量机、支持向量机Bagging集成、带有特征变换的单个支持向量机等进行了性能比较．在多个UCI标准数据集上的实验表明PCA—Bagging算法具有更好的性能，这说明即使是泛化能力很强的集成学习方法其学习的数据也需要进行适当的特征变换。     

基于结构分析的曲线概括方法

线状要素往往是地图的主要构成要素,因此在概括过程中常常需要进行对曲线进行概括处理。目前已存在的曲线概括方法主要是一种几何上的逼近,概括处理后难以保持其原有形态特点,以曲线形态分析为基础,提出基于复合弯曲分析的曲线概括方法。     

基于特征对比的领域泛化算法自适应选择方法

在自动驾驶、医疗等领域,模型的泛化性是衡量其安全性的重要指标。领域泛化算法选择方法可以指导使用者快速准确地选出适合的模型训练算法。针对目前尚缺乏有效的算法选择方法的问题,提出一种基于对比学习的领域泛化算法的特征对比(feature contrast, FeCo)选择方法。依据正例和负例选择策略选择特征,采用点积的方式计算特征相似度,最后通过噪声对比估计(info noise contrastive estimation, InfoNC)计算得分。使用该得分评估了同一类特征的聚合程度和不同类特征的分离程度,在3个数据集共200个领域泛化模型上进行验证。实验结果表明,在所有的方法中FeCo是唯一结果稳定的方法,FeCo的结果和模型真实泛化误差的相关性最高可达0.89,且运行时间缩短超过60倍。     

多种数据泛化策略融合的神经机器翻译系统

在Transformer模型的基础上,该文从数据泛化、多样化解码策略和后处理方法3个方面进行改进.多种数据泛化策略融合方法对不同种类的稀疏词语进行识别、泛化和翻译,减少错译现象.利用检查点平均和模型集成等多样化解码策略进一步提升翻译效果.在CCMT 2019中英新闻领域翻译任务上的实验结果显示,改进后的方法在基线系统上的BLEU-SBP值提升了约1.85%.     

泛化误差的三种交叉验证估计方法的比较

在泛化误差（GeneralizationError）的估计中,交叉验证（Cross—validation）是最常用的方法．基于均方误差准则下,采用生物信息数据比较了泛化误差的5折、10折交叉验证和组块3×2交叉验证估计,实验证明组块3×2交叉验证比5折、10折交叉验证方法更好．     

两种改进的直觉模糊多属性决策方法

对直觉模糊条件下的多属性决策问题,针对现有记分函数法和距离法的不足,基于IFS之间相对接近度的概念,提出了新的记分函数法和改进TOPSIS方法,综合利用了各方案至理想方案和负理想方案的距离信息,得到决策结果综合性能最优,并通过实例对比证明了本文方法的有效性。     

基于相似方向的二叉树支持向量机多类分类算法

介绍了几种常用的支持向量机多类分类方法,指出了各自优点和不足之处.在现有的基于二叉树的支持向量机多类分类算法的基础上,提出了一种新的以类间相似方向作为二叉树支持向量机(BT-SVM)生成算法的多类分类方法,实例分析表明该方法具有较高的精度和推广能力.     

基于事实和语义一致性的生成文本检测

文本生成技术的恶意滥用问题日益严重,因此生成文本检测技术至关重要. 现有的检测方法依赖于基于特定数据集的统计异常特征,从而导致方法的泛化能力较差. 本文考虑不同种类生成文本均易出现的事实错误、语义冲突问题,提出了一种基于事实和语义一致性的生成文本检测方法. 该方法通过实体将文本和外部知识库进行比较,得到文本的事实一致性特征. 另一方面,该方法借助文本蕴含技术对文本上文与下文进行关系推理,得到文本的语义一致性特征. 最后将这两类特征与RoBERTa的输出隐藏向量拼接,输入到线性分类层进行预测. 实验结果表明,该方法比当前的检测方法具有更高的准确率和泛化能力.     

基于支持向量机的故障诊断方法

提出了基于支持向量机的故障诊断方法和步骤。诊断实例表明,与神经网络故障诊断方法相比,诊断小样本分析的支持向量机故障诊断方法具有分类能力强、推广能力好的特点。     

数字海洋地理要素无级比例尺自动综合方法

介绍了地理信息随显示比例尺变化自动压缩与复现的概念和发展现状,分析研究了现有技术方法与手段的特点与不足,提出利用小波理论中的多分辨率分析（MRA）建立面向海洋地理特征的线状要素无级比例尺自动综合的几何模型和综合质量评价模型的思想。