支持向量回归多参数的同时调节

参数调节问题是支持向量回归的基本问题.已有的参数调节方法主要采用内外双层优化框架,调节过程中,训练学习器与更新超参数交替进行.这种嵌套结构具有较高的计算复杂性.针对这一问题,提出了支持向量回归多参数的同时调节模型.首先,将Lagrange乘子、惩罚因子、不敏感度参数和核函数参数合并为一个参数向量,推导出支持向量回归问题的一个新的表示形式,可将原来分离的双层调节过程整合为一个单层调节过程.然后,应用贯序无约束极小化技术(SUMT),将支持向量回归问题转化为多元无约束优化问题.在此基础上,应用变尺度方法(VMM)设计、分析并实现了一个同时调节算法.最后,通过标准数据集上的实验,验证了同时调节算法的收敛性,并比较了同时调节算法与常用调节算法的有效性和计算效率.理论分析与实验结果表明,同时调节模型是一正确且有效的多参数调节模型.

Simultaneous tuning of multiple parameters for support vector regression