| 带光滑L_(1/2)正则化项的神经网络逆向迭代算法收敛性分析 |
| |
| 引用本文： | 黄炳家,王健,温艳青,杨喜峰,邵红梅,王兢.带光滑L_(1/2)正则化项的神经网络逆向迭代算法收敛性分析[J].中国石油大学学报(自然科学版),2015(2):164-170. |
| |
| 作者姓名： | 黄炳家 王健 温艳青 杨喜峰 邵红梅 王兢 |
| |
| 作者单位： | 中国石油大学理学院;大连理工大学电信学部 |
| |
| 基金项目： | 国家自然科学基金青年项目(61305075);教育部高等学校博士学科点专项科研基金(20130133120014);中国博士后科学基金面上项目(2012M520624);山东省自然科学基金青年项目(ZR2013FQ004);中央高校基本科研业务费专项基金(14CX05042A,14CX02024A) |
| |
| 摘 要： | L1/2正则子比L2正则子更具稀疏性,有更强的剪枝能力;但其非凸、非光滑以及不满足Lipschitz条件的函数性质,使神经网络训练过程易于出现数值振荡现象,并且给收敛性分析带来理论困难。用光滑函数逼近L1/2正则子在克服数值振荡的同时可以保证目标函数具有良好的连续可微性质。针对提出的带光滑L1/2正则化项的逆向迭代神经网络模型,证明了误差函数的单调递减性质及算法的确定型收敛性:弱收敛和强收敛。数值实验表明,新的逆向迭代学习算法较已有算法保证了输入向量序列在训练过程中的稳定性及稀疏性,并有较好的泛化能力。
|
| 关 键 词： | 神经网络 梯度法 逆向迭代算法 单调性 正则化 收敛性 |
Convergence analysis of inverse iterative algorithms for neural networks with L1/2 penalty |
| |
| HUANG Bingji,WANG Jian,WEN Yanqing,YANG Xifeng,SHAO Hongmei and WANG Jing.Convergence analysis of inverse iterative algorithms for neural networks with L1/2 penalty[J].Journal of China University of Petroleum,2015(2):164-170. |
| |
| Authors: | HUANG Bingji WANG Jian WEN Yanqing YANG Xifeng SHAO Hongmei and WANG Jing |
| |
| Institution: | College of Science in China University of Petroleum,Qingdao 266580,China,College of Science in China University of Petroleum,Qingdao 266580,China ;Electronic Information and Electrical Engineering in Dalian University of Technology,Dalian 116024,College of Science in China University of Petroleum,Qingdao 266580,China,College of Science in China University of Petroleum,Qingdao 266580,China,College of Science in China University of Petroleum,Qingdao 266580,China and Electronic Information and Electrical Engineering in Dalian University of Technology,Dalian 116024 |
| |
| Abstract: | |
| |
| Keywords: | |
| 本文献已被 CNKI 万方数据 等数据库收录！ |
| 点击此处可从《中国石油大学学报(自然科学版)》浏览原始摘要信息 |
| 点击此处可从《中国石油大学学报(自然科学版)》下载免费的PDF全文 |
|
