多重高斯有向图模型结构学习

对k个节点数为n的高斯有向图,本文充分利用节点之间的偏序先验,并挖掘多重高斯有向图之间的相似性结构,并将其分为p个组.基于极大似然估计提出了带相似性结构惩罚项的Lasso回归模型用于估计图的邻接矩阵,并利用时间复杂度为O(nk~2p)的坐标下降法求解该模型.通过数值实验对比了本文算法和PC算法,证明了本文算法较PC算法对于多重高斯有向图具有较好地恢复效果.     

高维数据挖掘中基于正则化估计的特征提取算法

文章基于高斯回归模型,利用坐标算法并结合KKT条件对已存在的正则估计方法进行了改进,提出了一种对高维数据更加有效的变量选择(或称特征提取)的正则化估计方法.该方法考虑了实际数据中存在的噪声对正则化估计的影响,并能对噪声进行有效估计,文中给出了改进算法的实施细节,并通过实验结果验证了该方法在一定数据范围内具有估计的有效性和提高变量选择(特征提取)的准确性.     

基于预测变量图结构的高维逻辑回归模型

针对高维数据集,提出一种利用预测变量之间的图结构信息来改进稀疏逻辑回归模型的方法。该方法通过利用高维图结构数据或者重叠组结构来进行逻辑回归建模,即使预测变量的图结构未知,该方法仍适用,当图结构为某些特殊形式时,目前流行的方法,如Adaptive Lasso,(Overlapping) Group Lasso和岭回归都可以看作是该模型方法的特例。数值模拟和实例分析应用表明:该方法能有效地利用预测变量图结构信息,提高模型在估计、预测以及变量选择等方面的表现,并且该模型在有限样本情形下是有效的;该模型方法克服了数据集的维数问题,利用高维数据的图结构提高了稀疏逻辑回归模型的性能,可广泛应用于高通量基因数据集的疾病分类研究中。     

基于Horseshoe+先验的惩罚置信区域变量选择方法

针对高维稀疏线性回归问题,相关变量的数量远远少于不相关变量.相关变量的变量选择问题对于传统的频率论正则化方法是一大挑战.现有的贝叶斯惩罚置信区域法通过将模型拟合与变量选择分离,在联合后验置信区域内搜索最稀疏解,从而得到稀疏模型解.且该方法在高维变量选择效果上优于常用的变量选择方法.在此基础上,针对高维稀疏模型,将原方法中依赖的共轭正态先验替换成针对"稀疏信号勘测问题"提出的Horseshoe+先验,利用Horseshoe+先验对小系数"重"压缩与大系数几乎零压缩的理论特性,实现对稀疏回归系数的稳健估计.通过数据仿真模拟不同稀疏程度下的高维稀疏线性回归,并将基于Horseshoe+先验的惩罚置信区域法分别与基于正态先验以及Laplace先验的该方法进行比较,结果表明基于Horseshoe+先验的惩罚置信区域法在高维稀疏线性回归问题具有更好的变量选择效果与预测效果.     

高光谱图像半监督局部稀疏嵌入降维算法

针对目前高光谱图像半监督降维算法中基于流形学习的开放性选择近邻参数问题,以及利用传统算法不能有效地获取标签数据的局部信息,提出了一种无需考虑近邻参数的半监督局部稀疏嵌入（SELSE）算法.该算法基于稀疏表示理论,通过求解范数优化问题构建稀疏系数图,并且利用有限的标签数据最大化类间信息,提取高光谱图像的特征.在AVIRIS高光谱遥感图像的Indian Pine数据集上进行仿真实验,结果表明所提出算法在分类精度和计算效率上都有所提高.     

基于稀疏聚类的无监督特征选择

特征选择是从特征集合中选择相关特征子集,方便数据聚类、分类和检索等.现有的无监督特征选择算法是将高维数据映射到低维空间并计算每个特征的得分,选择排名靠前的特征.提出一种基于稀疏聚类的无监督特征选择算法:首先利用流形学习的特征映射思想将高维空间的数据映射到低维空间中,用样本构造近邻图,通过图的嵌入找到低维空间,降维后的空间能保持原始数据集的流形结构.其次,得到的样本嵌入矩阵表示特征的重要性,是区分特征对每一个聚类簇的贡献大小的指标,利用低维空间对高维空间的拟合,构造一个目标函数.最后,目标函数本质是回归问题,求解回归优化问题常用最小角回归算法,使用L_1范数进行稀疏回归计算每个特征的得分,选出得分靠前的特征.在六个现实数据集上的实验结果表明:该算法在聚类精度和互信息上取得了较好的实验结果,能有效地选出重要特征,在降维方面具有良好性能,优于其他对比算法.     

基于稀疏表征的异常点检测方法

为了提高异常检测算法在高维数据上的性能,提出了一种基于稀疏表征的孤立点检测(ODSR)方法.将实例表征为其他实例的稀疏线性组合,得到所有实例的近邻关系矩阵,并使用基于图谱理论的谱聚类方法识别异常点.该方法具有自动选择近邻的优势,能有效地得到近邻关系,并解决传统近邻算法中的k值选择困难问题.将ODSR与6种流行的异常检测算法在11个真实数据集上进行了综合实验比较,结果表明ODSR的复杂度及曲线下面积(AUC)值及稳定性更高.     

基于高斯混合模型的相关子空间投影聚类分析

针对高维数据出现的"维灾"、稀疏性问题及各属性维自身具有的特点,采用高斯混合模型定义的相关子空间,给出一种投影聚类分析算法。首先,采用KNN,得到各个数据对象的局部数据集LDS,并引入稀疏因子生成稀疏度矩阵,而后依据高斯混合模型和稀疏度矩阵,识别出相关子空间和不相关子空间;其次,根据相似性度量,剔除稀疏数据和无关属性维,并利用K-means算法形成聚类簇;最后,采用UCI数据集,验证了该算法的有效性与准确性。     

基于KS检验的高斯混合模型分裂与合并算法

高斯混合模型是有限个独立高斯模型的线性组合,估计其子模型个数是一个重要的研究问题.一类典型的算法是以最短描述长度为目标函数,在迭代过程中通过对子模型进行分裂与合并操作确定子模型个数.这类方法一般采用熵比、KL散度和模型相似度作为分裂和合并的判别准则.但是熵比或KL散度准则对稀疏子模型和凹形子模型过于敏感导致过度分裂,模型相似度准则不能反映合并后模型的高斯拟合优度导致过度合并.在算法的迭代过程中,这些过度分裂与合并操作产生振荡现象.针对估计子模型个数时出现的过度分裂与合并问题,基于KS检验的高斯混合模型的分裂与合并算法选择熵比与KS检验作为分裂的判别准则,模型相似度和KS检验作为合并的判别准则.最后在六个数据集上进行了实验证明算法的有效性.     

高维数据挖掘中的正则化估计新方法

针对高维数据的特点并基于线性回归模型,利用变量选择降维技术,提出了一种新的、有效的变量选择（或称特征提取）的正则化估计方法．新的正则化估计方法主要考虑了数据的噪声（方差）对正则化估计的影响,在寻找估计的正则化路径时能对方差进行有效估计,且基于凸优化问题的KKT条件和坐标算法思想给出了正则化估计算法的实施细节．实验结果表明,该方法能够提高高维数据集进行估计和变量选择的准确性,是高维数据挖掘中新的、有效的特征提取方法．     

基于压缩感知理论的频偏估计算法

针对基于交织子载波分配方式的OFDMA上行链路系统的频偏估计问题,提出了一种基于压缩传感理论的频偏估计算法.首先,利用频偏分布稀疏特性,构造出了一种具有稀疏结构的频偏估计模型;根据压缩感知理论,把OFDMA系统中频偏参数估计问题转化为凸优化问题并利用CVX求解最优稀疏向量;然后利用稀疏向量的非零元素位置有效地估计出系统中所有用户频偏信息.所提算法避免了子空间算法中特征值分解等复杂处理过程,从而更具有一定的实用性.仿真结果验证了所提算法的有效性.     

基于L_0约束的稀疏子空间聚类

大数据时代背景下,随着所获数据数量和维度的不断增加,高维数据的处理成为聚类分析的重点和难点.基于同一类别高维数据通常分布在高维环绕空间的低维子空间这一事实,子空间聚类成为高维数据聚类分析领域的重要方法.稀疏子空间聚类(Sparse Space Clustering,SSC)通过交替方向乘子法(Alternating Direction Method of Multipliers,ADMM)对数据矩阵的稀疏自表达系数进行求解,发现分布于低维子空间并集中的数据的稀疏表示并进行聚类.但是ADMM参数多、收敛速度慢,其效率难以满足对大规模数据库进行聚类分析的要求.针对这一问题提出了基于L_0约束的稀疏子空间聚类方法,该方法使用正交匹配追踪(Orthogonal Matching Pursuit,OMP)算法求解L_0约束的自表达稀疏重建问题,构建数据集中各数据之间的相关性矩阵,最终对相关性矩阵应用谱聚类方法得到聚类结果.根据OMP算法每次迭代之间的耦合关系对其进行优化,进一步降低了计算复杂度,提高了算法效率.在生成数据和Extended Yale B database人脸数据库的实验结果表明,该算法与SSC相比,在显著减少计算时间的基础上,取得了与SSC相当的聚类准确率.     

基于自适应图的降维方法

为了构建能反映高维数据本质结构的高质量图,提出了一种新颖的降维方法———基于自适应图的降维方法( DＲAG: Dimensionality Ｒeduction based on Adaptive Graphs) 。与其他传统的基于图的降维方法相比,提出的DＲAG 避免了传统k 近邻或ε 球准则构图策略中的参数选择问题,考虑了数据的局部信息和噪声,能自适应地构建稀疏的最优图结构,并将其结合在经典的LPP( Locality Preserving Projection) 模型中,学习能有效刻画高维数据本征结构的投影矩阵,从而实现降维的目的。为了评估算法的有效性和可行性,在4 个标准的图像数据库( CMU PIE,Extended YaleB,OＲL 和COIL 20) 分别进行了分类与聚类实验,实验结果表明,所提出的方法在分类识别率和聚类准确率上都优于其他对比方法。     

基于矩阵填充的子阵重构二维波达方向估计算法

为提高稀疏阵列下二维波达方向(2D-DOA)估计的效率,提出1种基于加速近邻梯度矩阵填充的子阵重构旋转子空间(APG-SRESPRIT)算法。建立了基于矩阵填充的稀疏阵列DOA估计信号模型,并验证该信号模型满足零空间性质。通过加速近邻梯度算法将该信号模型恢复为完整信号,划分子阵并构建合并矩阵。对合并矩阵进行奇异值分解,在子阵重构后估计目标角度,且目标角度自动配对。仿真实验表明该文算法可减少70%的阵元数量,且在稀疏阵列下准确估计2D-DOA。     

基于高斯核函数的局部离群点检测算法

随着信息技术的快速发展,数据资源的结构越来越复杂,离群点挖掘受到越来越多人关注.基于高斯核函数,考虑数据对象的k个最近邻居,反向k近邻居和共享最近邻居三种邻居关系,估计数据对象的密度,提出了一种基于高斯核函数的局部离群点检测算法.该算法通过KNN图存储每个数据对象的最近邻,包括k最近邻,反向k近邻和共享最近邻,构成数据对象的邻居集合S;通过核密度估计KDE方法估计数据对象的密度;通过相对密度离群因子RDOF来估计数据对象偏离邻域的程度,进而判定数据对象是否为离群点,并在真实和合成的数据集上证明了该算法的有效性.     

基于GEMS算法的潜变量高斯图模型结构学习

考虑了潜变量高斯图模型下的结构学习(模型选择)问题,即存在潜变量时可观测变量间相互关系的估计问题.简要介绍了高斯图模型及潜变量高斯图模型下的LVglasso方法,给出了GEMS(广义期望模型选择)算法结合LVglasso下潜变量图模型选择的算法步骤.通过模拟,发现GEMS结合LVglasso方法在模型选择速度上比EM(期望最大化)算法有明显优势,并分析了拟南芥植物基因数据,估计了各基因间的条件相关性.     

?1-α?2最小化模型下不同噪声的误差估计

压缩感知主要是考虑从较少的采样数据中以高概率精确地重构原高维稀疏信号.基于■最小化模型,大多数文献研究信号的重构问题,而对于图像重构方面很少研究,尤其对于高斯噪声和?_∞-有界噪声下的图像重构.根据测量矩阵的约束等距性得到这两种噪声下图像重构的误差估计.     

分布式低秩张量子空间聚类算法

现有基于低秩表示的子空间聚类算法(LRR)无法有效地处理大规模数据,聚类正确率不高,以及分布式低秩子空间聚类算法(DFC-LRR)不能直接处理高维数据.为此,文中提出了一种基于张量和分布式方法的子空间聚类算法.该算法首先将高维数据视为张量,在数据的自表示中引入张量乘法,从而将LRR子空间聚类算法拓展到高维数据;然后采用分布式并行计算得到低秩表示的系数张量,并对系数张量的每个侧面切片稀疏化,得到稀疏相似度矩阵.在公开数据集Extended YaleB、COIL20和UCSD上与DFC-LRR的对比实验结果表明,文中算法能有效地提高聚类正确率,且分布式计算能明显降低算法的运行时间.     

基于联合稀疏模型的OFDM线性时变信道估计

为了进一步提高OFDM线性时变信道估计性能,利用信道抽头的时域稀疏特性和相关性,提出一种基于联合稀疏模型的信道估计方法.首先,将线性时变信道模型下对连续多个符号周期的信道估计转换成一个联合稀疏重构模型;其次,采用基于测量矩阵互相关性最小化的分组导频设计准则,在应对子载波干扰的同时,保证了稀疏重构算法的性能;最后,设计一种基于循环并行树的分组导频优化算法.仿真结果表明:与传统线性时变信道估计方法和联合稀疏模型下的信道估计方法相比,所提方法所需导频数量少,信道估计性能更好,同时便于工程应用.     

一种可鉴别的稀疏保局投影算法

为了增强高维数据在低维子空间中的模式识别能力,假设任意2个类别相同的相似样本其稀疏表示也相似,并基于SPP和LPP思想,提出一种可鉴别稀疏保局投影降维新方法 DSLPP.该方法通过稀疏表示学习和保局部投影,使得在投影子空间中不仅能够保持稀疏表示对数据很好的表达能力,而且较好地获取高维数据所蕴含的本质局部流形结构和自然判别信息,从而增强高维数据在子空间中的表示能力和可鉴别能力.在3个典型的人脸数据集Yale,ORL和PIE29上,将所提出方法 DSLPP与PCA,LPP,NPE和SPP进行对比试验.结果表明DSLPP是一种有效的降维方法,能够较好地改善高维数据在低维子空间中的分类效果.