电话交谈语音识别中基于 LSTM-DNN 语言模型的重评估方法研究

近年来,神经网络语言模型的研究越来越受到学术界的广泛关注.基于长短期记忆(long short-term memory,LSTM)结构的深度神经网络(LSTM-deep neural network,LSTM-DNN)语言模型成为当前的研究热点.在电话交谈语音识别系统中,语料本身具有一定的上下文相关性,而传统的语言模型对历史信息记忆能力有限,无法充分学习语料的相关性.针对这一问题,基于LSTM-DNN语言模型在充分学习电话交谈语料相关性的基础上,将其应用于语音识别系统的重评估过程,并将这一方法与基于高元语言模型、前向神经网络(feed forward neural network,FFNN)以及递归神经网络(recurrent neural network,RNN)语言模型的重评估方法进行对比.实验结果表明,LSTM-DNN语言模型在重评估方法中具有最优性能,与一遍解码结果相比,在中文测试集上字错误率平均下降4.1％.     

基于卷积神经网络-双向长短期记忆网络的人体活动识别方法

针对人体活动传感器数据的时序性特点,以及当前机器学习算法过度依赖手工特征提取的问题,提出了一种融合卷积神经网络和双向长短期记忆网络的深度学习模型(convolutional neural network-bidirectional long short term memory network,CNN-BiLSTM)进行...     

基于小波神经网络的一类非线性系统的故障检测

针对一类非线性系统,提出一种小波神经网络(wavelet neural network,WNN)自适应故障检测方法。WNN具有较强的泛化能力及不同的激活函数。通过设计自适应状态观测器技术,利用小波神经网络观测器良好的观测性能来观测系统的当前状态,并将其应用于一类非线性系统中,实现故障检测与诊断。利用Lyapunov直接方法从理论上证明了小波神经网络故障检测观测器的稳定性,仿真结果亦表明了该非线性系统故障检测观测器的可靠性和稳定性。     

深度学习在轴承故障诊断领域的应用研究

深度学习具有强大的学习能力和特征分类能力,能够在海量、多源和高维测量数据中进行特征提取,具有不依赖人工干预而进行模型诊断和泛化的能力,广泛应用于设备故障诊断领域。阐述了深度学习的典型模型:深度置信网络(DBN)、卷积神经网络(CNN)和自编码器(AE),重点论述了深度学习在轴承故障诊断领域的应用进展。最后讨论了深度学习在轴承故障诊断领域所存在的问题及发展趋势。     

图像分类卷积神经网络的进化设计

为解决图像分类中深度卷积神经网络(Convolutional neural networks,CNN)中较为复杂的人工网络设计与调参问题,提出基于ResNet模块的进化卷积、神经网络(Evolutionary convolutional neural network,ECNN)的自动设计方法,并将其运用到图像分类中.该方法基于ResNet模块与2D卷积层,采用进化算法(Evolutionary algorithm,EA)对网络结构及参数进行优化.在NLM官方发布的疟疾数据集下进行实验,不同比例的测试集划分可以达到95.6%的分类准确率,文中算法与AlexNet、VGG16、Xception等人工设计的深度学习分类算法进行了比较,实验结果表明,其准确率提升了约1%.在斯坦福大学发布的Stanford cars车辆图像数据集中进行了算法泛化验证,结果表明,文中算法在不同比例数据的测试中准确率均在94.5%以上,将该算法与深度学习分类算法VGG16进行比较,准确率效果相当,模型测试图像分类耗时仅为VGG16耗时的1/13,且训练参数量较少.两组对比测试实验数据表明,相比人工设计的深度学习算法,本文方法具有较好的图像分类性能与较快的图像分类速度.     

基于增强型FNN的广告点击率预测模型

为了进一步提高点击率(Click-through rate,CTR)预测模型学习有效特征组合的能力,该文提出一种基于增强型因子分解向量输入神经网络(Enhanced factorization machine supported neural network,EFNN)的广告点击率预测模型。该模型在基于因子分解向量输入神经网络(Factorization machine supported neural network,FNN)的基础上增加了新特征生成层,采用一种针对CTR数据的卷积操作,对数据进行通道变换后引入Inception结构进行卷积,将生成的新特征和原始特征结合,提升了深度网络的学习能力。实验结果证明,添加了新特征生成层的增强型FNN能有效提高广告点击事件的预测准确率。     

基于深度CNN的改进弱监督学习方法设计与验证

针对包含目标、尺度和平移变化较强的空间信息难以获取大量训练样本的问题,提出一种基于深度卷积神经网络(deep convolutional neural network,DCCN)的弱监督学习方法,从3个层面对当前卷积神经网络进行扩展。为了提取分辨率更高的局部特征,同时考虑到全卷积网络(full convolution network,FCN)在全监督式学习下的高效性能,使用FCN作为后端模块;为了获取更多的通用特征,增加一个多映射弱监督学习的传输层,对与补充性类模态相关的多个局部特征进行显式学习;为了优化训练过程,改进了池化层,使用全局图像标签进行训练,将空间得分聚合为全局预测。使用图像分类、弱监督逐点目标定位和图像分割3种常用的机器视觉任务进行评估。多个公开数据库的实验结果表明,所提方法能够有效地学习强局部特征,具有良好的分类和定位效果。     

基于模糊神经网络的茶园拖拉机远程故障诊断系统

针对茶园拖拉机传统故障诊断对故障信息的采集存在严重滞后性的问题,提出一种基于模糊神经网络(fuzzy neural network,FNN)的茶园拖拉机远程故障诊断系统(remote fault diagnosis system,RFDS).该方法融合模糊算法和神经网络的优点,通过对车辆运行的实时监控,远程处理车辆信息,获取车辆潜在的故障和实时故障信息,避免了传统方式需进行的大量检测,为维修争取到了更多的时间,提高了生产效率.该系统以仿真软件Carsim为基础,利用Carsim实时模拟车辆运行情况,通过训练集和测试集对算法模型进行训练和验证,结果表明:FNN诊断算法满足系统性能要求,准确率可以达到90％以上,可远程准确诊断茶园拖拉机故障.此外,RFDS技术对于车辆的开发也有重要的作用,可以在车辆的研发阶段通过远程故障诊断系统进行车辆性能评估,节省了大量的人力资源.     

适应衰减直流分量估计的特定神经网络模型

为了估计出曲线函数的参数,提出了一种特定神经网络应用于图形曲线的函数拟合,并针对故障电流信号中包含的指数衰减直流分量降低继电保护操作的精度和效率等问题,构造了一种适应衰减直流分量估计的神经网络模型(decaying DC neural network,DDCNN),推导出基于Levenberg-Marquardt算法的网络权值自适应学习方法.该模型与包含衰减直流分量故障电流信号模型的数学表达式一致,在迭代求解神经网络的权值后,可直接由权值估计出衰减直流分量的所有参数.实验仿真结果及对比分析表明,本文算法能获得比现有算法更高的估计精度,且其计算代价能够满足应用需求.     

基于心率变异性与机器学习的睡眠呼吸事件分类

为了提供一种针对睡眠呼吸暂停低通气综合征(sleep apnea hypopnea syndrome,SAHS)患者的筛查方法,本研究把心率变异性(heart rate variability,HRV)应用于睡眠呼吸模态的分类问题。通过构建和训练概率神经网络(probabilistic neural network,PNN)对HRV各特征值进行有无异常睡眠呼吸事件的判别,以期实现对该病征进行初步筛查的目的。首先,对标注的有无呼吸事件的多导睡眠监测数据提取其心电的HRV特征值,再经过归一化后作为特征向量;其次采用PNN分类算法对特征向量进行训练及分类输出;最后,对模型的预测分类性能进行评价。对于准确率、灵敏度、特异性、受试者工作特性曲线下面积(area under the receiver operating characteristic curve,AUC)及分类耗时等评价指标PNN分类器的结果分别为:75.97%,82.51%,76.22%,0.7936,0.63 s。与广义回归神经网络(generalized regression neural network,GRNN)及极限学习机(extreme learning machine,ELM)分类算法相比,PNN分类算法在灵敏度、特异性、AUC及分类耗时评价维度上均取得最优。本研究基于HRV及PNN分类算法实现了对有无异常睡眠呼吸事件的判别,提供了一种低生理负荷SAHS筛查的途径。     

基于随钻数据的岩性识别机器学习算法研究进展

机器学习算法是岩性识别领域重点研究内容之一。与传统岩性识别方法相比,通过监测随钻参数变化进行岩性识别,具有高精度、多信息、集成化、智能化的优点。近年来,随着岩性识别技术不断发展,机器学习算法在岩性识别领域的研究和应用日益广泛。利用机器学习算法分析随钻数据,能够提高岩性识别结果的准确性,更高效地识别地层的岩性和构造。为了厘清岩性识别机器学习算法的发展现状,发掘其在岩性识别技术领域中的技术难题,综述了岩性识别机器学习算法的研究进展。首先,简要介绍了机器学习的概念与发展历程;其次,分类阐述能够用于岩性识别领域的机器学习算法;再次,总结了岩性识别领域各类常用机器学习算法的应用现状,比较了各类算法在岩性识别应用中的优缺点;最后,总结了岩性识别算法存在的问题和面临的挑战,并对其下一步发展方向提出了建议,使未来能更加准确高效地利用机器学习算法分析处理随钻数据,实现机器学习算法与岩性识别技术的深度结合。     

基于机器学习的裂纹识别研究现状及发展趋势

裂纹识别一直是机器视觉领域的重要研究内容,尤其是与之相关的自动检测算法在近年来备受关注.深度学习作为机器学习的一个分支,其在裂纹识别方面已显现出强大的功能和灵活性.本文对基于机器学习的裂纹识别技术的发展情况、研究现状以及典型方法进行详细介绍:首先介绍了多种机器学习方法在裂纹识别领域的应用,并从特征提取算法和应用对象等方...     

机器学习的研究

本文对机器学习进行了深入研究,从机器学习的发展历程、研究领域、系统构成及其在分类上的应用四个方面论述了机器学习的发展和应用。     

机器学习与知识发现在高校公共突发事件智能预警系统中的应用

机器学习与知识发现能够帮助人工智能系统对现象或信息之间的因果关系产生更深入的认识,有利于提高智能决策支持系统的工作效率,有利于提高使用者和机器之间的默契程度。就机器学习与知识发现技术应用于高校公共突发事件智能预警系统进行了探讨。     

基于深度学习的风力发电机组故障预警方法研究综述

风能作为重要的可再生能源,近几十年来,全球风能使用规模迅速增长,陆上和海上风力发电机组发电容量不断增加。由于风力发电机组故障维修成本巨大,因此必须开发有效且可靠的风力发电机组故障预警方法,在风电机组发生故障前进行提前预警,以便降低风电场的运营和维护成本。目前风电机组数据采集与监视控制系统(supervisory control and data acquisition, SCADA)已经在风电场有了广泛的应用,其中蕴含着大量的潜在数据信息,同时深度学习方法在海量数据挖掘方面有比较明显的优势,因此深度学习方法在风力发电机组故障预警领域的应用潜力巨大。综述了近年来相关深度学习方法在风力发电机组故障预警的研究进展,总结了风电机组故障预警的大体步骤,分析了各个步骤的具体处理方法,对每种技术方法的特点进行整理分析。最后阐述了深度学习在风电机组故障预警领域所面临的挑战,并对今后的研究重点进行了展望。     

机器学习在遥感影像分类中的应用

 概述了机器学习的主要方法及其在遥感影像的主要应用方向,涵盖环境生态遥感中机器学习技术的研究、应用情况及近年来的新进展。通过使用深度学习对FY-3C气象卫星资料进行积雪检测的应用实例,说明深度学习模型可以利用大数据的优势不断提高检测精度,在某些指标中取得了更优于传统机器学习的精度,可解决传统机器学习难以解决的一些问题,从而带动遥感应用模式的创新。     

基于深度学习的输变电设备紫外放电光斑分割方法

随着紫外成像技术的发展,高压电力设备对于紫外成像图谱的量化分析提出了更高的要求。紫外图谱的量化分析需要用到除紫外成像仪所输出“光子数”额外的紫外光斑图像信息,所以需要将紫外放电光斑从可见光的背景中分割出来。然而,传统紫外图谱光斑分割方法仍存在复杂背景及小光斑分离困难、特征选取复杂、分割精准度低等问题。基于上述问题,提出了一种基于深度学习的紫外图谱光斑分割提取的方法。首先,采用紫外成像仪拍摄电力设备放电缺陷紫外图谱;其次,分别构建FCN-32s、FCN-16s、FCN-8s 3种全卷积网络(fully convolutional networks, FCN)子模型架构,并利用随机梯度下降法进行模型训练;最后,实现输变电设备放电缺陷紫外图谱主光斑的自主分割提取。经过对FCN 3种子模型架构的训练、测试和对比分析,结果表明：FCN-16s模型为紫外光斑分割提取的最佳模型,测试准确率可达99.34%。结果表明基于深度学习的紫外图谱光斑分割方法准确高效,为紫外光斑的量化提取及电力设备放电缺陷的紫外诊断提供了参考。     

机器学习在油气行业中的应用进展综述

近年来,随着深度学习的兴起,机器学习在油气领域得到了进一步深入发展。但是,由于油气行业的特殊性和复杂性,目前还没有建成适用于深度学习的训练样本库,也没有针对性的模型建立和选择方法体系。此外,深度学习方法的不可解释性,导致了学习的模型对环境的高度依赖,制约了机器学习在油气行业中的推广应用。从机器学习的发展阶段出发,介绍机器学习在油气行业各领域的应用中所涉及的重大突破及仍然存在的问题。针对油气行业中不同类型数据的处理方法、样本建立以及如何进行模型适应性分析等方面给出了建议,提出可解释机器学习在油气人工智能上的发展潜力以及研究方向。     

处理人工智能应用的高性能计算机的架构和评测

人工智能(artificial intelligence,AI)的3块基石是大数据、高性能计算、深度学习算法,大数据被称为"算料",高性能计算被称为"算力",深度学习算法被称为"算法".人工智能主要的研究领域就是算料、算力和算法.算力基础设施作为处理人工智能应用的基石,一直被各个国家给予高度重视.由于人工智能应用的飞速...