构造稀疏最小二乘支持向量机的网络入侵检测模型

从最小二乘支持向量机的稀疏表达出发,构建高效的基于稀疏最小二乘支持向量机的网络入侵检测模型,提出了一种通过基于核空间近似策略的有效低秩逼近来有效减小原始训练样本集中的支持向量数来实现最终模型的稀疏表达.以MIT KDD99数据集为基础,对所提出方法进行有效性验证,并与利用剪枝策略通过递归过程中不断减少模型中支持向量个数的稀疏化方法、基本最小二乘支持向量机以及标准支持向量机方法的性能进行对比.结果表明:基于核空间近似的最小二乘支持向量机稀疏化与标准最小二乘支持向量机相当;此外稀疏最小二乘支持向量机能够提高入侵检测响应速度.     

最小二乘配置的QR分解解法

为了解决最小二乘配置解算问题,采用QR分解解法建立了直接解算算法.分析了目前采用的最小二乘配置法解算方法,在讨论了矩阵的QR分解方法的基础上,推导得出了矩阵QR分解与广义逆矩阵的关系,得出了可以直接利用QR分解求解矩阵的最小二乘逆,并推导了应用QR分解求解最小二乘配置的估值计算公式和精度估算公式,最后通过重力异常实例进行了计算,得出矩阵的QR分解用于最小二乘配置解算的正确性和可行性.该成果为最小二乘配置法提供了一种新的解算方法.     

一种改进的最小二乘支持向量机算法

最小二乘支持向量机是标准支持向量机的一种扩展,它是支持向量机在二次损失函数下的一种形式.它用等式约束代替不等式约束,求解过程变为解一组等式方程,避免了求解耗时的二次规划问题,但同时也丧失了标准支持向量机的稀疏性,影响了二次学习的效率.针对上述问题,本文提出了一种改进的最小二乘支持向量机增量学习方法.改进的最小二乘支持向量机算法采用自适应剪枝方法对解进行稀疏,根据每次训练得到的分类器性能来设定剪枝阚值和样本增量的大小,如果得到的分类器性能好,剪枝阈值和样本增量就大,反之,剪枝阚值和样本增量就小,从而提高了最小二乘支持向量机训练效率,解决了稀疏性问题.最后,仿真实验表明该算法方案可行.     

Volterra泛函级数辨识中维数灾难的一种解决方法

对Volterra泛函级数进行三阶截断近似,将Volterra核的求解问题转化为一个标准的最小二乘问题,并通过QR分解进行参数估计,在利用Householder变换实现矩阵P的QR分解过程中,提出了利用输入向量对输出向量的影响因子进行P阵的列选择,进一步简化了算法,数字仿真表明了7该方法的有效性。     

加权最小二乘支持向量机与最小二乘问题的关系

研究了加权最小二乘支持向量机与最小二乘法的关系．证明了用加权最小二乘支持向量机作函数估计与在特征空间中用最小二乘法得到的解是一致的．加权最小二乘支持向量机选择核相当于最小二乘法选择基函数组．由此提出了采用加权最小二乘支持向量机解决最小二乘法问题的思想,保证解具有良好的推广性、鲁棒性与稀疏性．     

矩阵方程AXB=C的最小二乘解的定秩研究

研究了矩阵方程AXB=C最小二乘解的秩的范围,利用矩阵的奇异值分解以及Frobenius范数的特征,得到了秩约束下最小二乘解的表达式,并得到了最大秩和最小秩最小二乘解.     

最小二乘支持向量机的一个快速近似算法

最小二乘支持向量机(Least Squares Support Vector Machine,LS-SVM)已成功地应用于许多分类问题上,但由于其解不具有稀疏性,该方法无法应用到大数据集的学习与测试上.提出了LS-SVM的一个快速近似HBILS-SVM算法.该算法结合Backfitting与Invfitting法则迭代增加或减少一个支持向量,这一过程重复直到满足给定的停止条件,从而构建出最终的分类决策函数.对比已有的稀疏化算法,HBILS-SVM算法的计算复杂度低,解更加稀疏,且支持向量更具有全局最优性.数值模拟试验表明:HBILS-SVM算法能在取得同样的泛化性能的前提下使得分类器更加稀疏.     

一种改进的LSTSVM增量学习算法

基于Sherman Morrison定理和迭代算法, 提出一种改进最小二乘孪生支持向量机（SMI ILSTSVM）的增量学习算法, 解决了最小二乘孪生支持向量机（LSTSVM）不具备结构风险最小化和稀疏性的问题. 实验结果表明, 该算法分类精度和效率均较高, 适用于含有噪声的交叉样本集分类.     

基于非负矩阵分解最小二乘的多视角行人分类算法

针对不同视角的行人样本具有较大的类内差异性,造成多视角行人识别错误率较高的问题,提出一种基于非负矩阵分解最小二乘的多视角行人分类算法.采用非负矩阵分解的方法对多视角的行人样本图像进行子空间分解,提取基向量;引入协同表示的方法并在最小二乘约束下,对子空间进行稀疏表示获得稀疏分解系数;利用近邻子空间方法对分解系数进行分类.基于自行构建的多视角行人数据库进行对比实验,结果表明该算法的准确性和有效性优于其他方法.     

低秩矩阵恢复模型改进及其在石油测井中的应用

传统的低秩矩阵恢复模型在去噪过程中通过将观测矩阵分解为低秩部分和稀疏部分达到噪声去除的目的,但该模型要求噪声矩阵必须是稀疏的。然而石油测井所获得的数据中噪声来源复杂,并不能完全保证噪声分布满足稀疏性的要求,使该模型在去噪时表现出一定的局限性,去噪效果不稳定,进而导致后续的数据处理准确率降低。为此,提出将加权范数的思想应用于传统的低秩矩阵恢复模型中,并在惩罚项中将F范数与待恢复矩阵的核范数相结合,构造改进的低秩矩阵恢复模型,使其能够在保证解的稳定性的同时,可以更好地挖掘观测矩阵的低秩性以及增强稀疏矩阵的稀疏性。通过非精确的拉格朗日乘子法分别对改进前后的模型进行求解,并对两种模型去噪后的测井数据分别采用支持向量机(SVM)和相关向量机(RVM)进行油气层识别,结果表明经改进的低秩矩阵恢复模型去噪后的测井数据在保证了油气层识别效率的同时,识别准确率上有了明显提升。     

采用遗传算法的分层贪婪字典训练算法

针对稀疏表示残差过大的问题,提出了采用遗传算法的分层贪婪字典训练算法.该算法首先将数据样本变成一维信号,然后将问题划分为若干个子问题,采用贪婪算法思想分层训练字典.为了以一定概率寻找到每一层字典的最优值,使用遗传算法来训练每一层字典,最后将每层字典级联作为最终的字典.在训练每一层字典时,先采用号码矩阵对样本的分类进行表示,然后以平均低秩逼近的残差能量作为衡量适应度的参数,以联赛选择的方式选出优胜个体,通过单点交叉和变异方法产生新的个体.对二值序列的稀疏表示信号重建的实验结果表明,该算法在训练样本量较小的情况下,与传统的核奇异值分解算法相比,训练得到的字典在同样的稀疏度约束下重建信噪比提高了10倍以上.     

一种稀疏图正则化的非负低秩矩阵分解算法

非负矩阵分解方法(non-negative matrix factorization,NMF)广泛应用于图像聚类、计算机视觉、信息检索等领域。但是,现有的NMF方法还存在一些不足之处：①NMF方法直接在高维原始图像数据集上计算它的低维表示,而实际上原始图像数据集的有效信息常常隐藏在它的低秩结构中;②NMF方法还存在对噪声敏感以及鲁棒性差的缺点。为了提高NMF算法的鲁棒性和可解释性,提出一种稀疏图正则化的非负低秩矩阵分解算法(sparse graph regularized non-negative low-rank matrix factorization,SGNLMF)。通过低秩约束和图正则化,SGNLMF算法同时利用了数据的几何信息和有效低秩结构;此外,SGNLMF算法还对基矩阵加以稀疏约束,使得其鲁棒性和可解释性均有一定的提升。还提出了一种求解SGNLMF的迭代算法,并从理论上分析了该求解算法的收敛性。通过在ORL和YaleB数据库上的实验结果表明SGNLMF算法的有效性。     

DWT DCT QR结合的音频盲水印算法

为保护互联网中数字音像制品的合法版权,结合离散小波变换（DWT）、离散余弦变换（DCT）、QR分解以及音频的特性,提出了一种针对音频的盲水印算法。首先对原始音频分段,然后对每个分段进行小波变换求得近似分量,再进行离散余弦变换,对低频部分进行QR分解,在QR分解后得到的上三角矩阵中嵌入水印信息。实验结果表明,该算法具有较好的透明性和鲁棒性,能够承受高斯加噪、重采样、重量化、低通滤波、MP3压缩、裁剪替换等常见音频信号处理攻击。     

基于自适应加权压缩感知的图像超分辨率重建

压缩感知理论被广泛应用于从少量随机观测中精确地重构原始信号,基于压缩感知理论来实现图像的超分辨率重建,在利用图像的局部稀疏性先验的基础上,采取了以下两项措施：一是通过对图像降质模型的估计,采用K-奇异值分解(K-singular value decomposition, K-SVD)算法构建过完备字典对,依据同一图像高低分辨率观测在对应字典下稀疏表示系数相似的特点,将字典对所表示的高低分辨率图像间的映射关系带入目标函数中,避免了降采样和模糊算子难以抽象为矩阵形式对求解造成的影响;二是在待超分辨率图像稀疏编码时提出一种自适应加权的梯度投影稀疏重构(adaptive weighting gradient projection for sparse reconstruction, AWGPSR)算法,克服了传统正交匹配追踪(orthogonal matching pursuit, OMP)算法在这一步需要固定稀疏度的缺陷,可获得更加精确的稀疏表示系数。结合得到的稀疏表示系数与高分辨率字典可以重建出图像的高频分量,将重建的高频分量与低频部分融合可以得到最终的图像超分辨率重建结果。实验结果表明,...     

An Approximate Linear Solver in Least Square Support Vector Machine Using Randomized Singular Value Decomposition

In this paper, we investigate the linear solver in least square support vector machine(LSSVM) for large-scale data regression. The traditional methods using the direct solvers are costly. We know that the linear equations should be solved repeatedly for choosing appropriate parameters in LSSVM, so the key for speeding up LSSVM is to improve the method of solving the linear equations. We approximate large-scale kernel matrices and get the approximate solution of linear equations by using randomized singular value decomposition(randomized SVD). Some data sets coming from University of California Irvine machine learning repository are used to perform the experiments. We find LSSVM based on randomized SVD is more accurate and less time-consuming in the case of large number of variables than the method based on Nystrom method or Lanczos process.     

欠定和非完全稀疏性的盲源恢复

非完全稀疏性的盲源分离（BSS）的难点在于源的恢复。现有的最短路径法、l1范数解和SSDP算法仅适用于稀疏源而不适宜非完全稀疏源。本文针对两个观测信号的情形,提出了二维的统计非稀疏准则（2d-SNSDP)。该算法将信号分成若干区间,用源的相关性判断各区间是否非完全稀疏,并在非完全稀疏和稀疏的区间采取不同的源恢复策略。它克服了传统算法的不足,改善了估计的源。最后,语音信号的仿真实验显示它的性能和实用性。     

L_(3/2)正则化图非负矩阵分解算法

基于图正则化非负矩阵分解算法(GNMF),提出一种基于凸光滑的L3/2范数正则化图非负矩阵分解算法.该算法用非负矩阵分解算法对数据进行低维非负分解时,根据流形学习的图框架理论,构建邻接矩阵保持数据局部几何结构,并对数据的低维表示特征进行凸光滑的L3/2范数稀疏性约束,在给出算法更新迭代规则的同时,从理论上证明了所给算法的收敛性.通过人脸数据库ORL、手写体数据库USPS和图像库COIL20的仿真实验表明,相对于非负矩阵分解算法及其基于稀疏表示的改进算法,所给算法均具有更高的聚类精度.     

秩亏缺信道下快速发射天线选择算法

研究了秩亏缺信道下发射天线选择问题.为了保证信道矩阵是列满秩,因此选择出的天线子集中的发射天线数量等于信道矩阵的帙数.提出了容量最优化的发射天线选择算法,但这种算法的计算量太大了.因此,提出了一种基于列主元QR分解的发射天线选择算法,这种算法具有很低计算复杂度.仿真结果显示通过这种方法确定的天线子集在信道容量方面也有很好的性能,尤其在高信噪比情况.     

基于低秩张量分解的大规模MIMO信息检测算法研究

提出了一种改进的Tucker分解法,将二维的张量分解到两个维度中.分别通过改进Tucker和Tucker算法的矩阵减秩和收敛运算,得到保存完整信息的原张量的近似估计值.仿真实验结果表明,改进Tucker算法提高了系统的检测性能.