基于随机森林优化的自组织神经网络算法

针对基于降维的神经网络分类器预测模型在分析过程中存在特征丢失, 并导致精度下降的问题， 提出一种基于随机森林算法优化的多层感知器(MLP)回归预测模型. 该优化模型通过在MLP回归模型网络的全连接层和逻辑回归层之间增加一个优化机制, 利用随机森林算法对隐藏层状态的优化实现改进, 从而解决了降维过程中神经网络丢失数据特征的问题. 在借贷客户信息数据集上的实验结果表明, 该模型在保证主要特征的同时大幅度提升了预测准确率, 证实该模型在特征工程中具有较高的实用性.     

一种适用于卷积结构的非图像数据预处理方法

卷积神经网络凭借局部相关和权值共享等优良特性而广泛应用于图像处理领域，成为最受欢迎的神经网络架构之一.然而，对于基因组、语音和金融等非图像形式的数据，传统的卷积网络可能无法完全适用.为了摆脱这一困境，科研人员不断尝试研发诸如循环神经网络以及注意力机制网络等可用于解析非图像数据的网络结构，拓展神经网络的应用范围.新型网络架构的研发无疑是困难且耗费巨大的，从另一个角度出发，提出一种适用于卷积网络结构的数据预处理方法.通过处理源数据，将其转换为特定的一维特征向量或二维图像矩阵，接着送入自定义卷积结构中观察其算法表现.实验采用UCI和Kaggle平台上的经典数据集进行测试并使用了SVM、决策树、随机森林等传统机器学习模型来对比该方法的可行性和有效性.     

深度神经网络蛋白质溶解性预测模型设计

蛋白质溶解性是生物信息学领域的重要研究课题,通过分析蛋白质溶解性数据,结合特征提取和深度学习技术,设计多种卷积神经网络预测蛋白质溶解性的模型.使用CD-HIT对蛋白质原始数据进行降噪,并利用G-gap对每个样本进行张量化处理,得到适用于卷积神经网络的特征数据,作为模型其中一路网络的输入;为提高模型预测精度,对每个样本利用SCRATCH工具提取6维序列特征和51维结构特征作为额外特征,作为模型的另一路网络输入.依据数据特点,通过对卷积层的串并联结构调整组合,设计4种不同网络模型,实现蛋白质溶解性预测.通过对比试验确定网络结构和参数,结果表明基于深度双路卷积神经网络DDcCNN(Deep Dual-channel Convolutional Neural Networks)的蛋白质溶解性预测模型整体性能最优,其预测精度、查全率、查准率、MCC(Matthews Correlation Coefficient)等性能指标分别达到76.31%、65.31%、75.05%、0.55.并通过与基于传统的深度神经网络、支持向量机、随机森林、决策树建立的预测模型以及现有的研究成果进行比较试验,证明了本研究设计的有效性.     

基于卷积神经网络的入侵检测算法

作为深度学习的一种有效算法,深度卷积网络已成功应用在处理图像、视频和音频等领域.通过建立一卷积神经网络模型并应用于网络入侵检测,选取的卷积核与数据进行卷积操作提取特征的局部相关性从而提高特征提取的准确度.采集到的网络数据通过多层"卷积层-下采样层"的处理对网络中正常行为和异常行为的特征进行深度刻画,最后通过多层感知机进行正确分类.KDD 99数据集上的实验表明,文中提出的卷积神经网络模型与经典BP神经网络、SVM算法等相比,有效提高了入侵检测识别的分类准确性.      

基于改进MobileNet网络的人脸识别方法

针对轻量级卷积神经网络MobileNet应用于人脸识别实时性较差、准确率不高等问题，提出一种改进MobileNet的网络模型—MobileDeepViT。首先，鉴于MobileNet模型有效减少网络参数量特点，本网络以MobileNet为核心，构建具有7层MobileNetV2、3层特征提取层、1层标准卷积和点卷积的深度学习网络；其次，在人脸特征提取过程中引入DeepViT，使网络更有效学习人脸特征；最后，该网络与Inception＿ResNetV1和MobileNetV1在相同的数据集CASIA-WebFace上进行训练，在LFW测试数据集上对训练模型进行评估，并在相同条件下对同一人的不同照片进行欧式距离和实时性测试。实验结果显示：该网络在模型参数更小的情况下，准确率比后二者分别提升了0.21%和0.72%、欧式距离测试结果也比后二者更小，预测时间更短，表明改进后的模型参数量减少、实时性更好、精度和鲁棒性提高。     

RBF神经网络与多层感知器区分与替代问题的研究

本文着重从模型、工作特性以及应用上对比了RBF神经网络与多层感知器网络的不同之处,又用模式分类具体实例指出,在一定条件下RBF神经网络与多层感知器网络可以相互替代。多层感知器网络通常用来解决非线性问题,而RBF神经网络则主要用于函数逼近,能够逼近任意非线性函数。因此,在非线性问题上,一个可以被另一个代替。     

融合聚类-卷积-门循环的居民用电短期负荷预测方法

对居民用电进行准确的短期负荷预测是电力部门合理制定每日调度计划的重要依据。提出了一种基于BIRCH(balanced iterative reducing and clustering using hierarchies)聚类算法-卷积神经网络(convolutional neural network, CNN)-门控循环单元(gated recurrent unit, GRU)的短期电力负荷预测方法。根据智能电表采集的历史负荷数据，该方法首先采用BIRCH聚类算法分析不同用户的用电习惯，将用户聚类为多个用户群；然后构建由负荷数据和时间以及气候信息组成的多特征时间序列数据集，并采用训练集进行CNN-GRU预测模型构建。训练集首先输入到基于一维卷积层设计的CNN网络，以提取不同特征变量之间的非线性关系；之后将数据输入GRU网络，以提取数据在时间维度上的时序特性，最后由全连接层输出短期负荷预测结果。以爱尔兰能源管理委员会提供的公开数据集作为实际算例，以ANN网络、CNN网络及CNN-GRU网络为对比模型，实验结果表明，所提出方法的平均绝对百分比误差达到了2.932 1%,有较高的预测精度和...     

基于多路融合卷积神经网络的网购商品情感分类

通过提出一种多路融合卷积神经网络(multi-mixed convolutional neural network,MMCNN)对网购商品评论数据进行文本情感分类。采用skip-gram模型进行词向量的训练,并用训练好的向量表示评论数据。针对评论数据长短不一的情况,提出了循环词向量填充和随机词向量填充算法,有助于提升模型分类的准确率。针对传统卷积神经网络特征提取方式单一的问题,将多路卷积特征和池化特征在全连接层进行了特征融合,以此提升网络的文本分类效果。选择京东网站上45 000条婴儿奶粉的评论数据进行试验,并与支持向量机、最大熵模型、朴素贝叶斯等传统机器学习方法以及经典卷积神经网络方法进行对比。试验结果表明,提出的多路融合卷积神经网络具有较高的分类正确率。     

一种基于BP算法学习的小波神经网络

为发展Szu的基于信号表示的小波神经网络,提出一种多输出的小波网络模型,网络隐层采用框架小波函数、输出层采用Sigmoid激励函数,并选用“熵误差函数”以加速网络的学习速度。奇偶判别和混沌时间序列预测例子的实验结果表明了它具有良好的函数逼近能力和推广能力,收敛速度和均方误差均优于相同结构的多层感知器模型。     

利用卷积神经网络的显著性区域预测方法

针对神经网络的显著性区域预测存在数据采集代价大、处理繁琐等问题,提出2种卷积神经网络,即从头开始训练的浅层卷积神经网络,以及前三层源自另一个网络的深层卷积神经网络。其中,浅层网络结构简单,可避免过拟合问题;深层网络可以充分利用最底层的模型参数,收敛更快,效果更好。所提卷积神经网络应用于回归问题,均没有直接训练特征图的线性模型,而是在迁移层上训练了一堆新的卷积层。从端到端的角度解决显著性预测,将学习过程演化为损失函数的最小化问题。测试和训练在SALICON,SUN和MIT300数据集上进行,实验结果验证了所提方法的有效性。其中,深层网络和浅层网络在SALICON和SUN数据上的结果相似,深层网络在MIT300上的结果更优,与其他方法相比,所提方法具有不错的表现,而且具有跨数据集的鲁棒性。     

基于多通道小波卷积神经网络的路面异常检测算法

为了保证路面质量和行人与驾驶员的安全,提出了一种利用传感器时序多变量信号数据进行路面异常检测的算法.针对行驶过程中需要结合多种传感器信号在不同尺度对路面特征进行分析的问题,提出结合小波卷积网络和多通道网络技术,实现路面异常检测.首先,在多级小波变换间加入卷积神经元网络,从多个尺度分析单个传感器信号的局部连续性;然后,构建多通道神经网络,将多个传感器信号分别作为不同通道的输入,计算多个信号相结合的特征向量;最后,使用多层感知机根据多通道小波网络的输出实现路面异常检测.实验结果表明,该检测算法相对于传统的时间序列分类方法,同时考虑了多尺度分析、信号局部连续性和多变量信号的结合,在分析多变量时序信号数据时,具有更低的误检率和漏检率,更高的F1值.     

基于CGRU模型的语音情感识别研究与实现

语音情感识别是人机交互、情感计算中重要的研究方向.目前普遍使用深度神经网络用于语音情感特征的提取，但使用哪种神经网络模型、如何缓解模型过拟合问题还需进一步研究.针对这些问题，提出了一种结合一维卷积(CNN)以及门控循环单元(GRU)的CGRU模型，从原始语音信号的MFCC特征中提取语音的低阶以及高阶情感特征，并通过随机森林对其进行特征选择，在三种公用的情感语料库EMODB，SAVEE，RAVDESS上分别取得了79%，69%以及75%的识别精度.通过添加高斯噪声及改变速度等方法来增加样本量实现数据扩充，进一步提高了识别精度.通过在线识别系统验证了模型在实际环境中的可用性.     

自编码器与PSOA-CNN结合的短期负荷预测模型

提出了一种自编码器与PSO算法优化卷积神经网络结合的电力系统短期负荷预测模型。首先利用自编码器对相关变量数据进行处理,降低所需数据的噪声变量,提高预测效率;然后利用粒子群算法对卷积神经网络的权值和阈值进行优化,可有效提高预测模型的预测精度和预测速度。通过对实际电网的负荷数据进行仿真,验证了模型具有较高的预测精度。     

露天煤矿边坡稳定性的随机森林预测模型

 边坡工程是露天煤矿中的重点工程,边坡的稳定性关系着煤矿的安全生产。边坡稳定性预测是边坡防治工作的前提,针对煤矿边坡工程稳定性预测的复杂性,为了快速、有效地判别煤矿边坡稳定性,利用随机森林算法建立煤矿边坡稳定性预测模型。通过选取与煤矿边坡工程密切相关的岩石重度、黏聚力、内摩擦角、边坡角、边坡高度、孔隙水压力6 个指标作为边坡稳定性的影响因素,即为随机森林预测模型的输入,边坡稳定性状态作为随机森林预测模型的输出,通过随机森林算法建立边坡稳定性影响因素与边坡稳定状态之间的非线性关系。利用煤矿实测30 组边坡稳定性数据作为随机森林预测模型的训练数据集,进行模型的学习训练;另用12 组边坡稳定性数据作为预测模型的测试数据,通过训练好的边坡稳定性预测模型进行测试;为了验证随机森林预测模型的准确率,同时与SVM 和BP 神经网络的测试数据进行比较。结果说明,选取煤矿边坡稳定性的6 个指标建立的随机森林预测模型,人工控制参数较少、结构简单、容易实现,且具有较高的准确度,边坡稳定状态预测结果与煤矿边坡工程实际状态相吻合,能有效预测边坡稳定性状态,指导煤矿边坡防治工作的开展。     

基于共享联结三元组卷积神经网络的枪弹膛线痕迹快速匹配方法

针对传统通过激光检测提取膛线线形痕迹信号时枪弹痕迹检测精度不高且操作复杂的问题,提出了新型提取和处理方法。采用多尺度配准、弹性形状度量与卷积神经网络技术,基于多模式弹性驱动自适应控制方法,建立了试件末端位置和姿态参数分布模型,采用孤立森林算法检测信号进行异常处理,利用变尺度形态滤波算法去除非细小特征,引入平方速度函数优化弹性形状度量算法,完成曲线轮廓嵌入层映射;在膛线线形匹配部分,建立了适用于痕迹特征的优化参数共享联结三元组卷积神经网络模型,通过嵌入层相似度计算和最小化三重损失函数训练该网络至收敛;最后进行了不同方法的相似度匹配对比实验。结果表明,与传统的检测方法相比,新方法解决了传统枪弹痕迹检测中面临的精度与操作性问题,保证检测结果的稳定性,且成本大大降低。在膛线线形痕迹提取中采用多模式弹性驱动自适应控制方法和三元组卷积神经网络模型,可为枪弹痕迹检测提供一种新的可行方法和思路。     

基于卷积神经网络的灾难场景图像分类

为了对灾难场景图像进行快速分析和识别,提出了一种基于多分辨率卷积神经网络和残差注意力机制(attention module)相结合的图像分类模型.首先,对灾难场景数据集进行预处理,在相同类型的条件下将其随机划分为训练集和测试集.基于改进的卷积神经网络(convolutional neural network,CNN),提取训练集的图像特征.使用训练集图片的特征进行训练,并且在测试集图片上实现分类测试.选取DenseNet、Xception和MobileNetV2三种模型,以灾难场景数据集(Disaster_Data_Scenes)为数据集进行实验验证.结果表明:改进的Xception和MobileNetV2网络在灾难场景数据集上进行的图像分类实验测试,比原网络精度分别提升了4.56％和3.04％.其中改进的DenseNet网络比原网络模型精度分别提升9.13％、17.88％和10.27％.可见改进的卷积神经网络模型的分类精度得到有效提高.     

拆分降尺度卷积神经网络入侵检测方法

针对卷积神经网络模型待训参数量过大、多层网络导致特征和梯度消失等问题,论文提出了一种基于拆分层和Inception-ResNet的卷积神经网络模型用于入侵检测。首先将网络流量数据转化为具有空间相关性的图像以适用于卷积神经网络的输入;然后使用Inception-ResNet卷积层增加网络深度,减少模型训练参数数量以及消除梯度消失问题,拆分层在降低图像尺度时基本保持图像原有分类特征;最后采用NSL-KDD数据集对改进模型进行训练和测试。测试结果表明,改进模型相对于Inception-ResNet模型具有更高的检测准确率和少数类样本召回率以及更好的训练时间性能。     

基于生成对抗网络的肺结节良恶性诊断算法

针对实性肺结节CT影像数据量少、人工标注耗时耗力等问题,提出一种结合生成对抗网络和集成学习的实性肺结节良恶性计算机辅助诊断方法.首先,使用基于梯度惩罚的生成对抗网络对肺结节CT影像数据集进行扩充,缓解由数据量少、样本类别不均衡导致的模型过拟合.然后,利用卷积神经网络进行CT影像特征提取,并通过主成分分析对深度特征进行降维.最后,联合CT图像特征和有效临床信息,采用集成学习方法构建分类模型预测实性肺结节良恶性.基于多中心临床数据分析表明,相比于传统卷积神经网络模型,所提出方法有更好的预测性能.