基于梯度监督学习的理论与应用(Ⅱ)——训练机制

基于梯度算法和前馈网络所具有的普遍近似性质，提出了一种新的监督型多目标系统化训练机制。在学习过程的实现中，该训练机制一方面能使参数集合选择适当以避免过适应，另一方面能以较少的计算及存储复杂度使网络输出达到所要的精度，保证网络具有满意的可检验性和通用性。新的算法（ＰＴＮＴ）能够在一个过程里同时考虑神经网络训练的几个方面，并且在训练时间和准确度方面也都优于ＢＰ算法及其衍生算法。ＰＴＮＴ算法具有类似于ＬＭ算法的收敛性，但存储复杂度远远少于ＬＭ的一半。文中通过仿真结果证明这种监督训练机制和前馈网络在不同问题环境下的适用性，评价了其有效性。     

基于高斯混合模型的EM学习算法

本文研究了一类基于无监督聚类学习的算法——EM算法的算法实现．EM算法通常用于存在隐含变量时的聚类学习，由于引入了隐含变量，导致算法难以保证收敛和达到极优值．本文通过将该算法应用于高斯混合模型的学习，引入重叠度分析的方法改进EM算法的约束条件，从而能够确保EM算法的正确学习．     

基于梯度监督学习的理论与应用(Ⅰ)——基本算法

讨论了一类基于梯度的监督训练算法及其用于神经网络的参数优化。文中详细讨论了ＬＭ算法，它是梯度下降法与高斯牛顿法的结合，既有高斯牛顿法的局部收敛性，又有梯度下降法的全局特性。μ很大时，ＬＭ算法近似于梯度下降法；μ为零时，则是高斯牛顿法。由于利用了近似的二阶导数信息，ＬＭ算法比梯度法快得多。就训练次数及准确度而言，ＬＭ算法明显优于共轭梯度法和变学习率的ＢＰ算法。由于主矩阵的正定性，解总是存在的，从这种意义上说，ＬＭ算法优于高斯牛顿法     

一种最大化样本可分性半监督Boosting算法

针对数据实际分布与假设不匹配时半监督学习算法难以改善分类器性能的问题,该文提出一种最大化样本可分性半监督Boosting算法,通过引入"高密度区域局部散度最小、样本空间全局散度最大"准则来学习未标注的样本。该准则使用两种半监督假设(聚类假设和流形假设),减少了因半监督假设与数据不匹配造成的准确率下降问题。实验结果表明,该文算法有效提高了Boosting算法在符合聚类假设数据集和符合流形假设数据集上的准确性,提高了分类器噪声数据的稳定性。     

半监督模糊聚类及其应用

提出了一种拓展的半监督模糊聚类模型,给出求解这个模型的迭代公式.这种半监督聚类能够合理、有效地利用部分已标识样本的类别信息对未标识样本产生影响,从而提高半聚类算法的聚类效果.其隶属度和聚类中心的迭代公式具有和FCM算法一样简洁的表示.在黄瓜数据集上的聚类分析表明,新提出的半监督聚类优于未改进的两种半监督算法、FCM算法和线性判别方法.     

基于局部线性嵌入的半监督仿射传播聚类算法

针对运用半监督仿射传播聚类算法处理高维数据时聚类精度低和计算量大的问题,提出一种基于局部线性嵌入的半监督仿射传播聚类算法.该算法首先通过LLE算法将高维输入数据集映射到低维空间得到低维数据集,计算低维数据集的相似度矩阵,再用半监督算法调整相似度矩阵,最后用仿射传播聚类算法对低维数据进行聚类分析.仿真结果表明,本文提出的算法与半监督仿射传播聚类算法相比,在处理高维数据时聚类效果更好,精度更高,迭代次数更少.     

基于LPA和Tri-Training的半监督文本倾向性分类

提出了一种基于LPA和Tri-Training算法的半监督文本倾向性分类框架.通过LPA对初始样本进行快速分类,获得更多可信的有标签数据,优化分类框架的训练过程.引入Tri-Training算法,提高分类框架的泛化能力和可用性.实验结果表明,在不同标注比例的样本集上,该框架都有较好的分类性能,相较有监督学习算法和单一的半监督算法提高了分类精度,并有较强的鲁棒性,为解决有标签样本比例较少情况下的文本倾向性分类提供了一个新的思路.     

基于伪标签回归和流形正则化的无监督特征选择算法

无监督特征选择是无标签高维数据预处理过程中一种有效的数据降维技术，然而大多数无监督特征选择算法忽略了数据样本本身的类簇结构特性，选择具有低判别性信息的特征.基于此，提出一种基于伪标签回归和流形正则化的无监督特征选择算法.具体地，联合伪标签回归和最大化类间散度来保证算法在迭代过程中学习伪标签，同时，自适应学习数据样本之间的局部几何结构，获得更加精准的标签信息和结构信息，进而选择具有高判别性且能保持数据流形结构的特征.在四个公开数据集上的对比实验表明，提出算法的特征选择结果优于现有的一些无监督特征选择算法.     

一种基于Seeds集和成对约束的主动半监督聚类算法

针对半监督聚类算法中监督信息使用不充分,监督信息中信息含有量低的问题,提出一种结合主动学习的半监督聚类算法.首先结合使用数据的类别标记和成对约束信息,指导Kmeans聚类过程,设计出一种基于Seeds集和成对约束的半监督聚类算法SC-Kmeans;其次将主动学习算法引入到SC-Kmeans中,以尽量小的代价选取信息含有量更高的监督信息,提高SC-Kmeans算法的聚类精度;最后在UCI标准数据集上进行仿真实验.实验结果表明,该算法取得了较好的聚类效果,有效提高了聚类准确率.     

半监督学习贝叶斯分类

分类器的学习采用半监督贝叶斯方法,使用EM算法求解最大似然估计,实验结果表明能够获得较好的结果。     

LZCE算法:竞争进化的Lempel-Ziv算法

给出一组在ＬＺ算法基础上改进而来的具有竞争进化功能的字典算法：ＬＺＣＥ（Ｌｅｍ ｐｅｌ－ＺｉｖＡｌｇｏｒｉｔｈｍ ｗ ｉｔｈ Ｃｏｍ ｐｅｔｉｔｉｖｅ Ｅｖｏｌｕｔｉｏｎ）．在算法构成上，根据图像压缩应用的特点，将ＬＺ算法（Ｖ－Ｆ编码）和Ｈｕｆｆｍ ａｎ 编码（Ｆ－Ｖ 编码）相结合，实现了基于先验知识的统计编码与基于学习的ＬＺ算法的相互竞争，构造出可综合利用局域相关性、广域相关性和先验统计知识的竞争进化的字典算法；在二维相关性利用上，经ＤＣＴ域引入ＬＺＣＥ算法，较好地解决了一维ＬＺ算法难以利用二维相关性这一问题．实验结果表明，对于相同的ＰＳＮＲ，该方法可将ＪＰＥＧ 码率降低２０％ 左右     

几种模式匹配算法的效率分析

分析几种模式匹配算法如KMP、BM、RK、SO。通过上机实验对这些算法的匹配时间进行测试,结果表明在这些模式匹配算法中BM算法是速度最快效率最高的算法。     

序列模式挖掘算法的分析与比较

序列模式挖掘是数据挖掘中一个非常活跃的研究主题.迄今为止,围绕算法效率这个主题,人们作了大量的工作.一方面,从算法的设计策略入手;另一方面在实现算法所采用的数据结构上做文章;也有的甚至通过对所挖掘的模式进行限制以达到提高算法效率的目的.并对目前已有的各种典型算法作了详细的分析与比较,而且做出了适当的评价.     

自回归谱估计算法的分类及应用

为了进一步使自回归谱估计算法系统化,为评价算法、选择算法和发展新算法提供参考,本文提出了一种自回归谱估计算法的分类法.文中还介绍了在此分类法的指导下研究出来的一种新的自回归谱估计算法.     

自适应滤波算法综述

基于二阶统计量即相关函数的自适应滤波算法在自适应信号处理中有着 广泛的应用，本文就国内外对这些算法的研究进行了综述。     

受ELSE规则支配的模糊LMS算法

针对FSS-LMS算法推理机制不全和算法运算量大的问题,提出了一种新的受ELSE规则支配的模糊LMS算法.ELSE规则的存在使得在任何输入数据条件下都能成功执行推理机制,而且运算量大为减少.与其它模糊LMS算法相比,该算法所建立的模糊规则更加简单和可靠.实验结果表明,该算法不仅具有更少的计算量,而且比其它的模糊LMS算法以及其它传统的LMS算法具有更好的性能.     

肺介质中光子剂量算法在不同能量下的计算精度差异

建立一包含肺介质的水模体,分别用笔形束(Pencil Beam,PB)算法、卷积叠加(Convolution-superposition,CS)算法和蒙特卡罗(Monte Carlo,MC)模拟计算1 cm×1 cm到7 cm×7 cm射野条件下,6 MV和15 MV光子在该模体中的百分深度剂量和离轴比,并以MC模拟为标准比较其计算误差.结果表明肺介质中,笔形束算法计算精度总体上随能量的增加降低,卷积叠加算法计算精度受能量影响不大.     

单模式精确匹配算法研究

模式匹配算法在各领域中有重大的应用价值。文章详细分析了BF、KMP、BM、Tuned BM和QS 5种单模式精确匹配算法;通过上机实验,采用不同的模式串长度对这些算法的匹配次数、比较过的字符个数和所需时间3方面进行测试;结果表明,BM、Tuned BM、QS算法在实际运行性能相对较好;而Tuned BM算法可有效地减少字符比较次数,是其中时间复杂最优的算法。     

两个经典频繁子图挖掘算法的对比与分析

AGM算法和HSIGRAM算法是两个经典的频繁子图挖掘算法,在基于图的数据挖掘中有重要的应用.从算法思想和应用技术两个方面分析了AGM算法和HSIGRAM算法的异同点,结合基于图的数据挖掘的特性,提出针对这两个算法的改进策略.     

一种遗传神经网络及其在岩性识别中的应用

针对ＢＰ网络存在易陷入局部极小和收敛速度慢的问题,本文根据遗传算法的特长,在网络学习算法中使用遗传算法,克服了上述弊端,在岩性识别的样本学习中,取得了较好的结果。