统计回归模型及其优化算法综述

在大数据时代,正则化(惩罚)回归模型成为高维数据分析的一种有效分析工具.文中从统计模型理论和优化算法两个角度对正则化回归模型进行简要的概述,主要介绍线性回归模型、广义线性模型和分位数回归模型三种经典且重要的回归模型以及相应的正则项.对于线性回归模型,介绍最小二乘回归和l_1-正则最小二乘回归问题的优化算法;对广义线性模型和分位数回归模型,介绍逻辑回归模型和求解l_1-正则逻辑回归问题的优化算法,并展示分位数回归模型和求解相应的正则化分位数回归模型的优化算法.最后,对正则化回归模型未来的研究方向进行展望.     

基于改进径向基函数神经网络的交通出行选择策略分析

利用逻辑回归方法分析影响交通出行选择的各种因素;建立基于径向基函数神经网络的交通出行选择预测模型,同时建立基于线性回归-径向基函数神经网络模型和基于逻辑回归-径向基函数神经网络模型预测人们出行方式选择高铁还是火车.结果表明,与单一径向基函数神经网络算法相比,回归-径向基函数神经网络组合算法预测准确率更高,而逻辑回归-径向基函数神经网络可有效减少非重要因素影响,并能提升预测准确率,取得较佳预测效果.     

面向不平衡数据的逻辑回归偏标记学习算法

偏标记学习是近几年提出的新机器学习框架,已有的逻辑回归偏标记算法尚不能解决数据不平衡问题.建立了一种可以解决数据不平衡的逻辑回归模型偏标记学习算法.基本思想是在多元逻辑回归模型中定义新的似然函数以达到处理不平衡数据的目的.算法先根据训练集中各个类别样本所占比例定义了一个新的似然函数,之后通过逼近和求导等数学手段推导得到了能够求解的光滑的逻辑回归偏标记学习模型.在UCI数据集和真实数据集上的仿真实验表明,所提算法在数据存在不平衡问题时提高了样本的平均分类精度.     

基于DBSCAN与HL相结合的晶圆成品率预测研究

对半导体成品率进行预测分析可有效控制产品成本,提高产品质量,而缺陷问题是导致半导体成品率损失的关键因素。因此,考虑晶圆缺陷聚集特性和数据嵌套性,研究了一种密度聚类与多水平逻辑回归相结合的受缺陷限制的成品率预测方法。首先采用密度聚类算法获取晶片缺陷模式类型;将在线缺陷数据在晶片水平进行整合,作为多水平逻辑回归模型的输入参数;根据多层次晶圆结构,在模型中加入嵌套变量,在批次层、晶圆层和组别层构建随机截距效应模型;在产品层构建非随机变化截距与斜率模型进行成品率预测;最后,根据回归结果分析引起成品率损失的主要因素并提出相应的改进措施。通过仿真实验表明,多水平逻辑回归模型的预测精度优于常用的Seed’s成品率模型与嵌套结构逻辑回归模型,该模型具有更高的预测能力与可行性。     

基于逻辑回归与置信传播的数据安全分析算法

基于云模型的虚拟设备业已成为非法访问和恶意攻击的常见目标,虚拟设备的大数据安全防护至关重要。本文对云计算的攻击检测模型及虚拟设备的安全分析方法进行研究,建立了虚拟设备的攻击检测模型,针对属性特征分别给出了逻辑回归分类器的训练过程、边缘概率有效转换为条件概率的过程以及贝叶斯网络因子图的生成过程,提出了基于逻辑回归与置信传播的数据安全分析(Data Security Analytics,DSA)算法。仿真实验结果表明,随着虚拟机数量的增加,DSA算法的中值检测时间均保持在0.06 ms左右,体现出该算法良好的性能。     

基于在线排序逻辑回归的垃圾邮件过滤

垃圾邮件过滤是网络信息处理中的重要问题,基于机器学习方法的垃圾邮件过滤技术是目前的研究热点。现有研究一般将过滤问题视为二值分类问题进行解决,存在着模型优化目标和性能评价指标1-AUC不一致的问题,导致模型优化结果产生偏差,过滤性能受到很大影响。该文通过直接优化评价指标1-AUC来提升过滤器性能,将垃圾邮件过滤问题转化成排序问题进行建模,提出了在线排序逻辑回归学习算法,解决了在线学习中的邮件得分偏移问题;综合应用TONE算法和重采样技术,提出参数权重更新算法,解决模型学习中在线调整模型参数时的处理速度问题,满足垃圾邮件实时过滤的要求。在垃圾邮件过滤公开评测数据集上的实验结果表明,基于在线排序逻辑回归模型的过滤结果全面优于在线逻辑回归模型的过滤结果。     

一种逻辑模型树算法在网络舆情中的谣言检测

网络舆情中的谣言对社会危害极大,因此有效地检测网络舆情中的谣言已是当务之急.目前,一些单一机器学习算法被相继应用到谣言检测中.针对这些单一机器学习算法在分类上的局限性,将一种融合逻辑回归与决策树的逻辑模型树方法用于谣言检测上.根据舆情分析报告上采集的数据集,实验结果表明:组合模型逻辑模型树的分类预测准确率比已应用到谣言检测的单一机器学习算法明显要高,逻辑模型树是一种有效的谣言检测方法.     

程度上下近似算子的逻辑或运算模型

为探索新的程度粗糙集拓展模型,基于程度的逻辑或需求,提出了程度上下近似算子的逻辑或运算模型。在该模型中,研究了程度上下近似算子的逻辑或运算的本质、基本结构与性质,提出了宏观算法与结构算法,进行了算法分析与比较,得到了结构算法比宏观算法更具空间优势的结论。最后用实例对程度上下近似算子的逻辑或运算模型及其算法进行了说明。     

基于决策树的存量客户流失预警模型

本研究基于价值分析角度,结合用户套餐资费情况,使用CART算法建立决策树模型,并采用交叉验证法来选取最优决策树,并与逻辑回归算法相比较,得到了较好效果,同时对流失用户属性进一步探索,对运营商精准启动预警挽留和维系策略提供决策支持.     

基于随机森林优化的自组织神经网络算法

针对基于降维的神经网络分类器预测模型在分析过程中存在特征丢失, 并导致精度下降的问题， 提出一种基于随机森林算法优化的多层感知器(MLP)回归预测模型. 该优化模型通过在MLP回归模型网络的全连接层和逻辑回归层之间增加一个优化机制, 利用随机森林算法对隐藏层状态的优化实现改进, 从而解决了降维过程中神经网络丢失数据特征的问题. 在借贷客户信息数据集上的实验结果表明, 该模型在保证主要特征的同时大幅度提升了预测准确率, 证实该模型在特征工程中具有较高的实用性.     

Adaptive Linearized Alternating Direction Method of Multipliers for Non-Convex Compositely Regularized Optimization Problems

We consider a wide range of non-convex regularized minimization problems, where the non-convex regularization term is composite with a linear function engaged in sparse learning. Recent theoretical investigations have demonstrated their superiority over their convex counterparts. The computational challenge lies in the fact that the proximal mapping associated with non-convex regularization is not easily obtained due to the imposed linear composition. Fortunately, the problem structure allows one to introduce an auxiliary variable and reformulate it as an optimization problem with linear constraints, which can be solved using the Linearized Alternating Direction Method of Multipliers(LADMM). Despite the success of LADMM in practice, it remains unknown whether LADMM is convergent in solving such non-convex compositely regularized optimizations. In this research, we first present a detailed convergence analysis of the LADMM algorithm for solving a non-convex compositely regularized optimization problem with a large class of non-convex penalties. Furthermore, we propose an Adaptive LADMM(Ada LADMM) algorithm with a line-search criterion. Experimental results on different genres of datasets validate the efficacy of the proposed algorithm.     

一种新的基于非凸秩近似的RPCA模型

在机器学习、数据挖掘和图像处理等研究领域,鲁棒主成分分析(RPCA)主要用于恢复一个低秩的数据矩阵。考虑到核范数作为矩阵秩函数的凸近似在处理实际数据集时存在的问题,以及矩阵秩函数的非凸近似所展现出的优势,本文提出了一种新的非凸近似函数。基于该非凸近似函数,提出一个改进的RPCA模型,并应用增广拉格朗日乘子法对其进行求解。最后利用视频背景分离的实际数据,通过数值实验验证了新模型的有效性。     

Weighted Variational Minimization Model for Wavelet Domain Inpainting with Primal-Dual Method

To preserve the edges and details of the image,a new variational model for wavelet domain inpainting was proposed which contained a non-convex regularizer. The non-convex regularizer can utilize the local information of image and perform better than those usual convex ones. In addition, to solve the non-convex minimization problem,an iterative reweighted method and a primaldual method were designed. The numerical experiments show that the new model not only gets better visual effects but also obtains higher signal to noise ratio than the recent method.     

基于鲁棒鉴别特征学习的图像特征提取算法

为了增强图像特征鉴别力和鲁棒性,获取图像紧致特征表达是关键.现有的图像特征学习方法大多采用最大化L2范数的方式定义,导致其对噪声和异常值十分敏感.针对这个问题,提出了一种基于L2,1范数的鲁棒鉴别特征学习算法.该算法在数据预处理中加入了类内聚拢操作,使得同类样本尽可能靠近,减小了类内异常样本以及强噪声样本的影响;此外,...     

一类全局优化问题的新的凸化、凹化法

对于目标函数非凸非凹,而约束函数具有凹、凸性的非线性规划问题,本文提出了一种新的凸化凹化法。把目标函数直接凸化、凹化,再把原问题转化为反凸规划问题或极小化问题或标准D.C.规划问题,从而求得原问题的全局最优解。     

稀疏对数回归及其在基因选择中的应用

针对微阵列分类中涌现出的小样本、超高维问题,提出了一种同时进行基因选择和分类的稀疏对数回归学习机.结合部分自适应弹性网络惩罚与对数似然损失函数,提出了稀疏对数回归学习机,证明了该学习机能激励自适应群体基因选择效应.     

左心房内径大小与缺血性脑卒中的相关性研究

目的探讨左心房内径大小与缺血性脑卒中的相关性。方法回顾性纳入2017年10月到2018年9月在井冈山大学附属医院心血管内科、神经内科住院患者850例,分为非脑卒中组510例和缺血性脑卒中340例,比较两组患者的基线资料,并采用单因素与多因素Logistic回归分析缺血性脑卒中的危险因素,然后采用Spearman相关分析左心房内径大小与缺血性脑卒中的相关性。结果两组患者性别、年龄、酗酒史、肌酐、D2聚体、ALP差异均无统计学意义(P0.05),而吸烟史、高血压、糖尿病、颈动脉斑块、TG、CHOL、LDL-C、HCY差异均有统计学意义(P0.05),缺血性脑卒中组左心房内径为(38.12±3.8),明显大于非脑卒中组(31.43±2.86)mm,差异有统计学意义(P0.01)。单因素Logistic回归分析显示,吸烟史、高血压、糖尿病、颈动脉斑块、左心房内径大小、血脂异常、HCY是缺血性脑卒中的危险因素(P0.05)。校正了吸烟史、高血压、糖尿病、颈动脉斑块、血脂异常等危险因素后,多因素Logistic回归分析显示,左心房内径大小仍是缺血性脑卒中的危险因素。Spearman相关分析显示,左心房内径大小与缺血性脑卒中呈正相关(r=0.618,P=0.000)。结论左心房扩大是缺血性脑卒中的危险因素,与性别无关。     

求非凸二次约束二次规划全局解的凸规划方法

针对非凸二次约束二次规划(QCQP)问题,将问题中二次函数的凸函数部分保留,达到所得松弛规划的可行域更加紧致的目的,得到原问题更好的下界.利用正交变换的方法得到原问题的一个凸规划松弛模型,再利用分支定界算法求其全局最优解.根据问题的最优性和可行性原则,提出一种能整体删除或缩小算法迭代过程中产生的分割子区域的区域删减策略...     

模拟微重力大鼠T淋巴细胞发育异常的初步研究

对模拟空间微重力条件下大鼠T细胞发育受阻的神经免疫调节机理进行初步探究.采用流式细胞检测技术测定模拟微重力大鼠胸腺中不同发育阶段T淋巴细胞的数量变化,用ELISA法测定胸腺组织中去甲肾上腺素(NE)和内源性糖皮质激素(GC)的含量.结果表明模拟微重力模型大鼠出现明显胸腺萎缩(p<0.05),CD3⁺CD4⁺CD8^-和CD3⁺CD4^-CD8⁺T细胞数量明显减少(p<0.05);模拟微重力大鼠胸腺中NE和GC含量有升高的趋势.模拟微重力大鼠胸腺中发生了从双阳性T细胞向单阳性T细胞的发育阻滞,这种异常可能与神经内分泌免疫调控相关.