多层感知机分类器行为延拓线性分析及其应用

严谨的线性判别函数与判别面的理论，适用于线性阈值（MP模型）神经元分类行为分析。本将此理论扩展到非线性sigmoid神经元，分析了用来解决模式分类问题的、由sigmoid神经元构成的单隐层MLP（多层感知机）的内部行为；并通过一系列近似推理与实验验证，提出了将隐层权重矢量初始值均匀地分布在权重空间的一个圆（超球面）上的方法。针对几个困难的分类问题的实验表明，该方法抓住了MLP分类器内部行为的重要特征，它使MLP分类器跨越了可能存在的学习难点，把学习起点放在达到目标较简便的路径上。此方法在理论上简单直接，应用上方便有效，具有一定的普遍性。     

攻击标签信息的对抗分类算法

真实数据集中存在的对抗样本一方面易导致分类器取得较差分类结果，另一方面如果能够被合理利用，分类器的泛化能力将得到显著提高。针对现有大部分分类算法并没有利用对抗样本训练分类模型，提出一种攻击标签信息的对抗分类算法（ACA）。该方法从给定数据集中选取一定比例样本并攻击所选取的样本标签使之成为对抗样本，即将样本标签替换成其他不同类型的标签。利用支持向量机（support vector machine，SVM）训练包含对抗样本的数据集，计算生成的SVM输出误差对于输入样本的一阶梯度信息并嵌入到输入样本特征中以更新输入样本。再次利用SVM训练更新后的样本以生成对抗的SVM（A-SVM）。原理分析与实验结果表明，一阶梯度信息不仅提供了一种分类器输出与输入之间的正相关关系，而且可提高A-SVM的实际分类性能     

基于BP网的雷达辐射源分类器设计

为了提高侦察告警设备中雷达辐射源识别模块的正确识别率，设计了一种基于BP（Back Propagation）网络的雷达辐射源分类器，并就设计关键点——分类器拓扑结构、训练次数的确定以及训练集的设计进行了研究。分类器以BP网络为基础，以载频、脉宽、重频和天线扫描方式为输入特征向量对雷达辐射源进行分类。实验结果证明，该分类器能够对6种不同功能的雷达进行较好的分类，     

莱斯衰落信道下 MQAM 信号调制方式自动识别方法

针对受莱斯衰落影响的4QAM、16QAM、32QAM、64QAM、128QAM、256QAM六类信号,分别研究了卷积神经网络（CNN）模型以及特征参数结合深度神经网络（DNN）分类器模型的调制方式识别性能。CNN模型需要大量带标签的数据集以及很长的训练时间才能获得较好的识别性能,而特征参数结合深度神经网络分类器模型所需训练时间较短,但其分类性能受限于特征参数的设计。针对以上问题,研究了混合高阶矩作为特征参数集,再将DNN作为分类器对多进制正交幅度调制（MQAM）信号进行识别的方法。仿真结果表明,该方法在低信噪比情况下对受莱斯衰落影响的MQAM信号识别准确率高于CNN模型,且分类准确率上限明显高于采用高阶累积量作为特征参数的方法。     

基于MLP神经网络的超宽带信号自适应识别算法的研究

提出一种利用人工神经网络进行超宽带信号调制模式自适应识别的方法。采用三层MLP神经网络进行调制模式识别。首先对超宽带数字调制信号进行统计特征参数提取,特征参数作为MLP网络的输入层神经元参数,隐含层是双层结构。实验证明,当中间层采用正切型激活函数、输出层采用线性激活函数时,MLP分类器的识别性能最好。在5 dB信噪比环境下,算法的正确识别率高于95%。与传统的统计判决方法相比,神经网络分类器不需要设定判决门限就能实现自适应识别,并且达到更好的识别率,解决了软件无线电系统中的超宽带信号自动识别的问题。     

一种基于TAN的文本分类方法

提出了一种基于TAN模型的文本分类方法，朴素贝叶斯分类器是当前流行的一种文本分类算法，但是它的属性独立性假设使其无法表达文本词语之间的依赖关系，TAN（Tree Augmented Naive Bayes）是综合了朴素贝叶斯的简易性以及贝叶斯网表示依赖关系的能力，其分类性能可与当前流行的一些分类器相竞争，介绍了TAN模型，将其引入到文本分类中，并用实验比较了朴素贝叶斯和TAN，实验结果表明：该方法具有较好的分类性能。     

软件无线电中数字调制信号的自动识别

针对软件无线电系统中数字信号调制方式的自动识别提出一种改进算法．使用从调制信号中提取的的特征参数，对多个MLP分类器进行独立训练，使用输出向量的加权投票表决法来融合多个MLP分类器的方法，得到了在信噪比大于等于10dB时良好的效果，验证了方法的可行性．     

基于人工神经网络的城市航空遥感图像植被分类研究

研究了一种基于模糊量化与多层前馈神经网络相结合进行多类别遥感图像植被分类的新方法.对分类指标 进行π隶属函数模糊量化之后,进行多层前馈神经网络(MLP)训练,再用训练后的MLP网络构成监督分类器,并 以宁波市彩红外航空遥感图像资料为数据源,选取园林区为试验区,对植被进行监督分类,分类精度达78%.研究 成果表明,该方法适用于多类别的遥感图像植被分类,其分类效果也较好.     

懒惰式学习对决策树分类器的影响

决策树采取的是一种急切式学习算法,是迄今为止在实践中应用最为广泛的一种分类方法。决策树分类器在训练阶段根据训练实例集合建立了一棵整体上最优的树,这棵树被用来在测试阶段给未分类的实例指派最适合的类标。决策树具有良好的可解释性,分类速度快,但是它的剪枝过程非常繁琐,分类精确度也不是非常高.把懒惰式思想引入决策树,学习过程被推迟到给定一个测试实例时才进行。它从概念上为每一个测试实例建立一棵最优决策树。实验数据显示此法显著提高了分类器性能,但分类速度较慢。     

一种基于主成分分析的稀疏数据模式分类隐私保护算法

 模式分类过程涉及到对原始训练样本的学习,容易导致用户隐私的泄露。为了避免模式分类过程中的隐私泄露,同时又不影响模式分类算法的性能,提出一种基于主成分分析（PCA）的模式分类隐私保护算法。该算法利用PCA 提取原始训练数据的主成分,并将原始训练样本集合转化为主成分的新样本集合,然后利用新样本集合进行分类学习。选用Adult 数据集和KDDCUP 99 数据集进行仿真实验,并采用正确率和召回率进行性能评价,结果表明,该隐私保护算法通过PCA 提取原始数据特征属性的主成分,可避免原始属性的泄露,同时PCA 在一定程度上可实现去噪,从而使分类器的分类性能优于原始数据集的分类性能。与已有算法比较,该隐私保护算法具有更好的模式分类精度和隐私保护性能。     

基于竞争信息的Tandem系统

Tandem技术是目前主流语音识别系统中提升性能的重要手段之一,它基于训练数据和其所对应的正确标注用有监督的方式训练神经网络的参数。该文提出一种基于解码中竞争信息对传统Tandem起到补充作用的方法,能够增强Tandem技术的区分性。为了获取竞争信息,首先在词图中生成识别解码中的竞争片段,再分别使用基于时长重叠信息和后验概率信息的挑选策略来选取对神经网络训练最为有效的竞争信息,以提高竞争网络对识别性能的补充作用。实验结果表明:加入竞争信息的改进Tandem系统获得了超过传统系统的性能。     

PSO-MLP模型预测降雨对府河氨氮的影响

为研究白洋淀上游的保定市区降雨径流对府河水质的影响,采用府河2019年、2020年的常规水质监测数据,基于粒子群算法（particle swarm optimization,PSO）和多层感知机（multi-Layer perceptron,MLP）建立PSO-MLP水质预测模型。分别使用PSO-MLP、MLP、一维水质模型进行对比预测。结果表明：PSO-MLP与一维水质模型相比,平均绝对误差相对降低64.5%~74.7%;与MLP模型相比,平均绝对误差相对降低6.6%~12.6%。选取2021年7月的一次典型降雨对府河膳马庙、安州和南刘庄3个控制断面进行预测,表明PSO-MLP泛化能力更强,预测误差更小,优于一维水质模型和 MLP模型。所建立的府河PSO-MLP水质预测模型,可以提前 4 h准确预测府河各断面氨氮浓度,平均绝对误差小于0.3 mg/L,可应用于保定市区降雨径流对府河水质污染的预测预警,避免降雨径流通过府河影响白洋淀水质。     

基于随机森林优化的自组织神经网络算法

针对基于降维的神经网络分类器预测模型在分析过程中存在特征丢失, 并导致精度下降的问题， 提出一种基于随机森林算法优化的多层感知器(MLP)回归预测模型. 该优化模型通过在MLP回归模型网络的全连接层和逻辑回归层之间增加一个优化机制, 利用随机森林算法对隐藏层状态的优化实现改进, 从而解决了降维过程中神经网络丢失数据特征的问题. 在借贷客户信息数据集上的实验结果表明, 该模型在保证主要特征的同时大幅度提升了预测准确率, 证实该模型在特征工程中具有较高的实用性.     

分散矩形特征结合软级联的人眼检测研究

采用优化的分散矩形特征结合软级联进行了人眼检测研究,针对分散矩形特征会造成特征数量暴增的问题,给出了一种优化解决方案;针对级联分类器训练过程中训练难度不断加大的问题,提出了一种按指数规律调整每层的最小检出率和最大误检率的方法 .优化后训练所需时间缩短为优化前的1/3,改进后分类器性能相比原始特征有所提高.人眼检测实验结果表明：该分类器具有更好的分类能力.     

基于分形维数和SVM的新疆民间艺术图案分类

针对已有分类器存在的缺陷, 提出一种以分类错误率为标准选择组合特征的分类方法, 提高分类器的分类精度. 先提取图像的4种分形维数作为纹理特征, 再通过组合不同分形维数特征应用于支持向量机(SVM)进入样本训练阶段. 将分类错误率最低的特征组合作为分类器的特征向量, 应用于测试阶段的分类, 提高分类器的分类精度. 实验结果表明, 该方法具有较好的推广性, 为图像特征组合提取提供了新途径.     

基于尾项加权的自适应文本分类方法研究

基于朴素贝叶斯分类框架,通过添加尾项值对部分严重扭曲的分类结果进行调整,达到提升分类器性能的目的.方法通过增量式自适应学习分类模式,根据历史结果,判断分类器分类质量,进而确定尾项添加区间,对明显产生分类扭曲的区间结果自适应添加尾项补偿,调整分类结果.在Trec05,Trec06,Trec07,Ceas08数据集上的对比实验表明,改进算法在accuracy,Macro F1两个指标上均比朴素贝叶斯分类器和bagging朴素贝叶斯分类器显著提高,且方法简单易行.     

Gene association study with SVM, MLP and cross validation for diagnosis of diseases

Gene association study is one of the major challenges of biochip technology both for gene diagnosis where only a gene subset is responsible to some diseases, and for treatment of curse of dimensionality which occurs especially in DNA microarray datasets where there are more than thousands of genes and only a few number of experiments (samples). This paper presents a gene selection method by training linear support vector machine (SVM)/nonlinear MLP (multi-layer perceptron) classifiers and testing them with cross validation for finding a gene subset which is optimal/suboptimal for diagnosis of binary/multiple disease types. Genes are selected with linear SVM classifier for the diagnosis of each binary disease types pair and tested by leave-one-out cross validation; then, genes in the gene subset initialized by the union of them are deleted one by one by removing the gene which brings the greatest decrease of the generalization power, for samples, on the gene subset after removal, where generalization is measured by training MLPs with leave-one-out and leave-4-out cross validations. The proposed method was tested with experiments on real DNA microarray MIT data and NCI data. The result shows that it outperforms conventional SNR method in separability of the data with expression levels on selected genes. For real DNA microarray MIT/NCI data, which is composed of 7129/2308 effective genes with only 72/64 labeled samples belonging to 2/4 disease classes, only 11/6 genes are selected to be diagnostic genes. The selected genes are tested by classification of samples on these genes with SVM/MLP with leave-one-out/both leave-one-out and leave-4-out cross validations. The result of no misclassification indicates that the selected genes can be really considered as diagnostic genes for the diagnosis of the corresponding diseases.     

Gene association study with SVM, MLP and cross validation for diagnosis of diseases

Gene association study is one of the major challenges of biochip technology both for gene diagnosis where only a gene subset is responsible for some diseases, and for the treatment of the curse of dimensionality which occurs especially in DNA microarray datasets where there are more than thousands of genes and only a few number of experiments （samples）. This paper presents a gene selection method by training linear support vector machine （SVM）/nonlinear MLP （multilayer perceptron） classifiers and testing them with cross-validation for finding a gene subset which is optimal/suboptimal for the diagnosis of binary/multiple disease types. Genes are selected with linear SVM classifier for the diagnosis of each binary disease types pair and tested by leave-one-out cross-validation; then, genes in the gene subset initialized by the union of them are deleted one by one by removing the gene which brings the greatest decrease of the generalization power, for samples, on the gene subset after removal, where generalization is measured by training MLPs with leaveone-out and leave-four-out cross-validations. The proposed method was tested with experiments on real DNA microarray MIT data and NCI data. The result shows that it outperforms conventional SNR method in the separability of the data with expression levels on selected genes. For real DNA microarray MIT/NCI data, which is composed of 7129/2308 effective genes with only 72/64 labeled samples belonging to 2/4 disease classes, only 11/6 genes are selected to be diagnostic genes. The selected genes are tested by the classification of samples on these genes with SVM/MLP with leave-one-out/both leave-one-out and leave-four-out cross-validations. The result of no misclassification indicates that the selected genes can be really considered as diagnostic genes for the diagnosis of the corresponding diseases.     

A Classifier Using Online Bagging Ensemble Method for Big Data Stream Learning

By combining multiple weak learners with concept drift in the classification of big data stream learning, the ensemble learning can achieve better generalization performance than the single learning approach. In this paper,we present an efficient classifier using the online bagging ensemble method for big data stream learning. In this classifier, we introduce an efficient online resampling mechanism on the training instances, and use a robust coding method based on error-correcting output codes. This is done in order to reduce the effects of correlations between the classifiers and increase the diversity of the ensemble. A dynamic updating model based on classification performance is adopted to reduce the unnecessary updating operations and improve the efficiency of learning.We implement a parallel version of EoBag, which runs faster than the serial version, and results indicate that the classification performance is almost the same as the serial one. Finally, we compare the performance of classification and the usage of resources with other state-of-the-art algorithms using the artificial and the actual data sets, respectively. Results show that the proposed algorithm can obtain better accuracy and more feasible usage of resources for the classification of big data stream.     

基于机器学习的数据库小数据集并行集成方法

为了解决传统方法不能按照训练样本量设计最优网络模型,集成效率低的弊端,通过机器学习方法研究数据库小数据集并行集成方法。机器学习选用朴素贝叶斯算法,依据条件独立性假设,通过计算目标先验概率,采用贝叶斯定理求出其后验概率,对后验概率进行比较,完成决策分类,对基分类器进行训练,把不同朴素贝叶斯基分类器当成集成分类器,在原始数据库上对基分类器进行训练,依据分类结果对数据库中小数据集样本分布进行调整,将其当成新数据集对基分类器进行训练,按照基分类器的表现,通过加权将其组合在一起,产生强分类器,实现对数据库小数据集的集成处理。通过MapReduce并行处理完成并行数据集成,输出并行集成结果。通过仿真实验与实例分析验证所提方法的有效性,结果表明:所提方法在训练样本规模相同的情况下有最高的分类精度和最小的波动,在不同集成规模下的分类精度一直最高,波动最小;所提方法可达到数据的最优集成,数据失效比降低,合成比提高。可见所提方法集成精度高,计算稳定性强,集成效果好,效率优。