改进Stacking算法在妊娠期糖尿病预测中的应用

本研究提出基于妊娠早期体检、基因信息,结合集成学习的妊娠期糖尿病预测分类方法.设计了基于Stacking框架的改进模型ACS-Stacking.ACS-Stacking模型将基分类器输出的类别概率值作为基层输出结果,元层使用GBDT模型学习组合基层输出的类别概率结果,拓展了算法的层次结构.在基分类器层与元分类器层之间加入基分类器筛选层,通过CFS算法估计不同分类器集合中个体分类器准确性与多样性的权衡值,筛选出最佳基分类器集合,实现基分类器的自适应选择.研究结果表明,该模型F1值较单一模型提高约9%,较Stacking模型提高约7%,具有较好的预测准确性和稳定性.     

基于不平衡分类的Bagging集成污水处理故障诊断

在污水处理过程故障会导致出水水质下降、运行费用增高甚至造成环境的二次污染,而污水处理故障诊断数据的典型不平衡特性,严重影响了故障诊断的效果,尤其会导致故障分类的正确率偏低.针对此问题,文中提出了一种基于加权极限学习机的改进Bagging集成污水处理故障诊断建模方法;以加权极限学习机为基分类器,以Bagging集成框架建立集成分类器;定义可调整的过采样倍率公式,通过虚拟少数过采样算法(SMOTE)对少数类样本进行过采样,以保证基分类器间的多样性;以不平衡分类性能指标G-mean值为基础,定义新的基分类器输出权值更新公式,以提高故障类别识别率.仿真实验表明,该污水处理故障诊断模型的性能优于其他对比算法,可有效提高G-mean值和整体分类正确率,特别是提高了故障类别的识别正确率.     

基于相关性与纹理度量的SVM隐写分析算法

为提高图像信息隐藏正确检测率,扩展隐写分析算法的适用范围,提出了一种新的基于最低有效位(LSB)的隐写分析方法,引入了一组基于相邻像素相关性和图像纹理复杂度的差值关系的高阶统计矩作为特征矢量。基于此特征量构造分类器,采用支持向量机(SVM)进行训练和分类。对1 600幅BMP图像在不同嵌入率情形下进行仿真实验,并与经典的RS(regular singular)隐写算法和GPC(gray-levelplane crossing)算法进行对比分析。结果表明,针对原始无损存储图像,基于该文建立的分类器的准确率高于目前的主流算法识别掩密图像,具有较可靠的盲检测性能。     

基于LSSVM的JPEG图像隐写分析算法

构造了一种基于最小二乘支持向量机的针对JPEG图像的隐写分析方法，在DCT域和空间域上提取了JPEG图像的18维特征向量，利用LSSVM构建分类器，并根据嵌入算法的种类设定分类器的输出，以达到检测秘密信息的存在性和判别使用何种隐写算法实施信息嵌入的目的，针对Jsteg，F5，MB三类最常用的JPEG图像隐写算法进行了二分类和四分类的实验，结果表明，构建二分类器进行载密图像检测时，正确率较高；构建多分类器检测载密图像、判断其使用的隐写算法时，对于高嵌入量的载密图像有着较高的判断正确率。     

基于改进仿电磁学ELM在相机标定中的应用

针对相机标定时难以建立精确的数学模型以及极限学习机(ELM)在隐层节点数少时逼近精度低的问题,提出了基于改进仿电磁学(EM)优化ELM的双目视觉相机标定方法。在标定过程中,采用极限学习机精确逼近图像坐标与世界坐标间的非线性关系,利用改进EM策略,包括使用自适应步长以及空间解收缩,优化ELM的输入权重和隐层偏置,提高ELM的收敛速度和泛化能力。实验结果表明,改进EM-ELM优化算法的收敛速度快于PSO的,且用更少的隐层节点数取得较高的标定精度。     

基于相关性与纹理度量的SVM隐写分析算法

为提高图像信息隐藏正确检测率,扩展隐写分析算法的适用范围,提出了一种新的基于最低有效位(LSB)的隐写分析方法,引入了一组基于相邻像素相关性和图像纹理复杂度的差值关系的高阶统计矩作为特征矢量。基于此特征量构造分类器,采用支持向量机(SVM)进行训练和分类。对1600幅BMP图像在不同嵌入率情形下进行仿真实验,并与经典的RS(regular singular)隐写算法和GPC(gray-level plane crossing)算法进行对比分析。结果表明,针对原始无损存储图像,基于该文建立的分类器的准确率高于目前的主流算法识别掩密图像,具有较可靠的盲检测性能。     

集成分类器组合算法及其在医学诊断中的应用

在计算机辅助诊断系统中使用集成分类器是提高机器识别能力的一种重要途径。针对集成分类器投票组合算法中存在的投票可信度问题,提出了一种基于Grading的集成分类器组合算法EGR,该算法根据集成分类器对样本的预测结果是否正确来转换相应样本的类标签,用新数据构造元分类器。在UCI医学数据集上进行的实验结果显示,EGR算法对分类精度的提升以及敏感性与特异性的整体改善是有效的。     

一种基于无监督学习的MB1隐写分析方法

为了提高针对混杂小样本集的MB1隐写算法的检测率,提出了一种泛化能力较强的MB1隐写分析方法.通过分析多种图像特征,在离散余弦变化(DCT)域选取对隐写敏感易变的特征,包括变分特征、块边界度量特征、共生矩阵特征和马尔可夫特征组成的108维特征向量,并以无监督学习中的支持向量数据描述法(SVDD)为分类器,使用含有混杂样本的小样本集进行训练,测试算法对隐写图像的检测率.实验结果表明,当检测相对嵌入率为40%以上的隐写图像时,检测率可靠度达到96%以上,明显高于其他2种基于支持向量机的经典算法.这说明本方法打破了其他方法对训练样本集的限制,提高了对混杂小样本集的MB1隐写算法的检测率.但由于它对混杂样本具有一定的容忍度,对较小嵌入率的隐写图像的检测率稍低.     

面向隐写分析的图像富模型特征的改进

针对内容自适应隐写的最佳检测器是经载体图像集与相应隐写图像集训练的集成分类器,训练图像由基于残留噪声的富模型(一族特征)表示。最近研究显示,通过在富模型特征中融入对载体像素的嵌入修改概率,这种内容自适应要素可以提高检测准确度。由于每个残噪样值依赖其周边一整块像素,因此应把对残噪本身而不是对决定残噪的像素的嵌入影响融入富模型特征之中。基于这种认识,提出用残留噪声L1失真的期望值取代像素的嵌入修改率以提高检测准确度。针对当前三种先进的内容自适应隐写算法进行实验,这种新的改进思想得到了实验结果的支持。     

基于Zernike矩特征的FCM-RBF神经网络图像分类器

针对交通监控图像识别精度较差的问题,设计一种基于径向基(radial-basis)函数神经网络的图像分类器.该分类器利用Zernike矩噪声敏感度较小、形状特征稳定性好的特点,构建四阶矩的特征向量,用于特征提取;利用自适应模糊聚类方法,解决径向基函数神经网络隐层节点数不确定的问题.仿真分析表明,该分类器与基于改进的快速模糊C均值聚类算法的Back Propagation网络分类器和径向基函数神经网络分类器相比具有更高的识别率,与改进的粒子群优化模糊C均值聚类算法的径向基函数神经网络分类器相比具有相近的识别率,但其计算复杂度较低.仿真实验结果表明,该方法具有较好的分类能力及较高的计算效率.     

采用负相关学习的SVM集成算法

为了平衡集成学习中多样性与准确性之间的关系,并提高决策分类器的泛化能力,提出一种基于负相关学习和AdaBoost算法的支持向量机(SVM)集成学习方法.将负相关学习理论融合到AdaBoost-SVM的训练过程中,利用负相关学习理论计算基分类器间的相关性,并根据相关性的值自适应调整基分类器的权重,进而得到加权后的决策分类器.在UCI数据集中进行仿真,结果表明:相较于传统的负相关集成学习算法和AdaBoost-SVM算法,所提出的方法分类准确率更高,泛化能力更好.     

基于特征提取和最优加权集成策略的风机叶片结冰故障检测

针对风机叶片结冰检测中现有集成方法不能充分发挥不同个体分类器优势的问题,提出了一种基于特征提取和最优加权集成学习的叶片结冰检测模型。首先,用堆叠降噪自动编码器提取结冰关联特征后,考虑不同单一分类器在二分类应用中的表现及其差异,选择随机森林、极限梯度提升树、轻量梯度提升机、K-近邻算法作为个体学习器,并用贝叶斯算法对其进行超参数优化。然后提出基于序列二次规划的最优加权集成策略对叶片状态进行判别。最后利用金风科技提供的15号和21号风机的历史数据进行了仿真实验,结果表明：所提出的检测模型与个体学习器及其他集成模型相比多项指标均有所提升,准确度达到了99.2%,在结冰检测方面具有一定的有效性。     

Support Vector Machine Ensemble Based on Genetic Algorithm

Support vector machines （SVMs） have been introduced as effective methods for solving classification problems. However, due to some limitations in practical applications, their generalization performance is sometimes far from the expected level. Therefore, it is meaningful to study SVM ensemble learning. In this paper, a novel genetic algorithm based ensemble learning method, namely Direct Genetic Ensemble （DGE）, is proposed. DGE adopts the predictive accuracy of ensemble as the fitness function and searches a good ensemble from the ensemble space. In essence, DGE is also a selective ensemble learning method because the base classifiers of the ensemble are selected according to the solution of genetic algorithm. In comparison with other ensemble learning methods, DGE works on a higher level and is more direct. Different strategies of constructing diverse base classifiers can be utilized in DGE. Experimental results show that SVM ensembles constructed by DGE can achieve better performance than single SVMs, hagged and boosted SVM ensembles. In addition, some valuable conclusions are obtained.     

云模型和集成极限学习机相结合的滚动轴承故障诊断方法

针对轴承振动信号的不确定性和非平稳性以及BP神经网络学习算法收敛速度慢、稳定性差等问题,提出了基于云模型和集成极限学习机的滚动轴承故障模式识别方法.将经预处理之后的信号进行云化,产生滚动轴承在不同状态下的信号云;提取出决定信号云分布的期望、熵和超熵三个参数作为表征轴承状态的特征量并依此构造出原始的轴承状态数据集;再将故...     

基于状态转移算法的极限学习机

目前极限学习机在训练模型时存在占用计算资源多和模型精度低等问题.为了解决上述问题,提出了一种基于状态转移算法的极限学习机,可提升算法计算效率和模型精度.利用状态转移算法的全局搜索特性求解线性方程组,得到极限学习机的输出权重矩阵,进而完成建模.在分类和回归数据集上与极限学习机和其他主流算法进行对比,所提方法可以利用较少的隐藏层节点得到高精度的模型,同时具有更好的学习准确率.这种高性能的建模方式弥补了极限学习机的不足.     

A Classifier Using Online Bagging Ensemble Method for Big Data Stream Learning

By combining multiple weak learners with concept drift in the classification of big data stream learning, the ensemble learning can achieve better generalization performance than the single learning approach. In this paper,we present an efficient classifier using the online bagging ensemble method for big data stream learning. In this classifier, we introduce an efficient online resampling mechanism on the training instances, and use a robust coding method based on error-correcting output codes. This is done in order to reduce the effects of correlations between the classifiers and increase the diversity of the ensemble. A dynamic updating model based on classification performance is adopted to reduce the unnecessary updating operations and improve the efficiency of learning.We implement a parallel version of EoBag, which runs faster than the serial version, and results indicate that the classification performance is almost the same as the serial one. Finally, we compare the performance of classification and the usage of resources with other state-of-the-art algorithms using the artificial and the actual data sets, respectively. Results show that the proposed algorithm can obtain better accuracy and more feasible usage of resources for the classification of big data stream.     

基于特征选择ELM的乳腺肿块检测算法

乳腺肿块检测是防治乳腺癌的有效途径,基于乳腺X射线图像特征模型的极限学习机(ELM)分类算法已被应用于计算机辅助检测乳腺肿块中.针对由于特征间的依赖性导致的ELM学习效率和检测准确度低的问题,提出了基于特征选择ELM的乳腺肿块检测算法.利用影响值选择、序列前向选择和遗传选择等方法进行特征选择,进而利用该结果提高ELM的性能.通过490例来自辽宁省肿瘤医院的乳腺X射线图像的实验表明,基于特征选择ELM的乳腺肿块检测算法能有效提升乳腺肿块检测的效果,其中以遗传选择对ELM性能提升最明显.     

面向复合材料带隙预测的两段式集成学习模型构建

带隙是钙钛矿型复合氧化物材料重要的特征参数, 对材料的物理化学性质起决定性作用, 如导电性能和光电性能等. 为了寻找适合不同应用领域的钙钛矿型材料, 利用机器学习进行带隙预测是一种重要的研究手段. 构建了一个两阶段异质集成学习模型, 在第一阶段使用多种不同的基础机器学习器(回归模型)进行预测; 在第二阶段把对预测结果影响较大的描述子和基础机器学习器进行集成学习.利用该模型对 210 种钙钛矿型复合氧化物材料的带隙进行预测, 并与多种独立的机器学习算法以及不同集成策略模型的预测性能相对比, 评估了本模型的预测性能. 结果表明, 这种两段式的集成学习模型能够更好地学习到材料数据的内在关系, 并具有较好的预测效果和较强的泛化能力.     

一种基于投票的不平衡数据分类集成算法

不平衡数据分类是机器学习的研究热点之一。传统的机器学习分类算法通常假定用于训练的数据集是平衡的,不能直接应用于不平衡数据分类。利用朴素贝叶斯和决策树对数据不平衡的敏感度不同,提出一种基于投票的不平衡数据分类集成算法。基分类器选择NB和C4.5,通过投票平均方法进行分类决策;并选择公开的不平衡数据集进行实验验证。实验结果表明,该算法能有效提高不平衡数据的分类性能,特别是对正类(少数类)的误报率较低,具有良好的鲁棒性。