基于深度学习的联邦集成算法

联邦学习是多源隐私数据保护领域研究的热点,其框架在满足数据不出本地的情况下,可以训练出多方均满意的共同模型,但存在本地模型参数难以整合且无法在安全的情况下将多源数据充分使用的问题,因此提出基于深度学习的联邦集成算法,将深度学习与集成学习应用到联邦学习的框架下,通过优化本地模型的参数,提高了本地模型准确率;使用不同的集成算法来整合本地模型参数,在提升模型准确率的同时兼顾了多源数据的安全性。实验结果表明：与传统多源数据处理技术相比,该算法在mnist、digits、letter、wine数据集训练模型的准确率依次提升1%、8%、-1%、1%,在保证准确率的同时也提升多源数据与模型的安全性,具有很重要的应用价值。     

基于树突网络的侧信道攻击

由于深度学习对数据内在特征的敏感性,将深度学习算法应用于硬件加密芯片的侧信道分析,提高了侧信道分析的效率和准确率.但深度神经网络学习算法依旧是非线性结构未知的深层黑盒模型,模型结构和性能不一定是最优.该文提出一种基于树突网络的侧信道分析方法,由于树突网络内部非线性结构的可解释性,其系统辨识能力和运算复杂度均优于深度学习网络.在ChipWhisperer侧信道分析实验平台的CW308T-STM32F3和ATXMEGA128D4目标板上,针对AES-128加密算法进行侧信道分析实验,实验结果表明,基于树突网络的侧信道分析在模型参数规模、攻击精度、训练时间等方面都要优于多层感知机、卷积神经网络、循环神经网络等深度学习模型.     

一种可信执行环境下的联邦逻辑回归评分卡系统

为了构造评分卡模型并保证数据的隐私性，提出一种可信执行环境下的联邦逻辑回归系统。该系统利用可信执行环境的强安全性来抵御参数交互过程中的推演攻击，通过联合归一化和改进的联邦平均方法分别解决局部数据尺度的不一致性和类别不均衡分布下的评分卡模型有效性问题。在一个公开信用卡违约数据集上的测试结果表明：所提出的改进联邦平均方法与典型联邦平均方法相比，能更有效地应对类别不均衡分布问题；与同态加密联邦学习系统相比，能大大提高执行效率。     

结合类别信念的AdaBoost算法(英文)

集成学习是一种受到广泛认可和使用的机器学习算法.为此提出一种新的多类集成学习算法,即AdaBoost belief.此算法改进多类集成学习算法AdaBoost·SAMME,使每个基分类器对于每个类别都有权重信息.这种类别上的权重被称为类别信念,可通过计算每次迭代中各个类别的正确率得到.将所提出的算法与原有的AdaBoost·SAMME算法从预测准确率、泛化能力以及理论支持等方面进行比较发现:在高斯数据集、多种UCI数据集以及基于日志的多类别入侵检测应用中,该算法不但具有更高的预测准确率和泛化能力,而且当类别数目增加,即类别更难以预测时,其分类错误率较原有AdaBoost·SAMME算法上升得更缓慢.     

基于Stacking集成学习的流失用户预测方法

利用机器学习算法对商业活动中普遍存在的客户流失问题进行预测.借鉴了Bagging的自助采样法思想，提出了一种基于自助采样法的Stacking集成方法.首先对数据集进行多次采样并加入属性扰动，然后使用所得数据子集训练基分类器副本，基分类器决策结果由基分类器所对应的副本投票决定.最后在真实数据集中进行流失客户预测实验，结果显示，该文提出的方法在准确率、查准率和F1值3项指标上均好于所有基分类器和同结构的经典Stacking集成方法.     

基于LSTM-DNN模型的入侵检测方法

针对基于深度神经网络模型的入侵检测方法存在的梯度减弱或消失问题，提出了一种LSTM(Long-Short Term Memory，长短时记忆)神经网络改进的DNN(Deep Neural Networks，深度神经网络)模型．该模型主要包括LSTM神经网络和DNN2部分，LSTM神经网络通过记忆或遗忘进行数据流量特征提取，然后将其输入DNN进行训练、入侵检测．模型中采用优化算法，加快了网络收敛．实验表明，与LSTM模型相比，LSTM-DNN模型具有较好的性能，准确率更高，运行时间更短．     

集成学习在PM2.5预测中的应用研究

【目的】为了能实时预测PM_2.5的浓度。【方法】采用多种集成学习的方法进行模拟预测。传统的预测方式多采用深度学习或普通传统改进的机器学习算法，只考虑多种污染物浓度产生的影响，而忽略了其他气象因素对PM_2.5预测的影响。因此，传统的预测方式在预测精度上有着很多不足。【结果】本研究以哈尔滨近7年的气象数据和大气污染物浓度为数据集，通过皮尔逊相关系数法来提取主要特征，并过滤掉小于0.5的影响因子，同时使用多种集成学习方法对PM_2.5进行预测，观察不同集成学习方法对PM_2.5预测的准确度。【结论】试验结果发现，GBDT模型的拟合效果对新数据的泛化效果最好，其MSE为334.204 6、RMSE为18.281 3、MAPE为83.438 9、SMAPE为50.616 9。     

基于卷积神经网络和投票机制的轨道板裂缝检测

现有的检测方法对轨道板细微裂缝和夜间拍摄的裂缝图像存在误检和漏检的现象,为此提出了一种基于卷积神经网络的改进方法。将特征图分组后用注意力机制强化各组向量的特征表达,以动态聚合弱分类器预测结果的方式得到最终的裂缝置信度。借助投票机制有效降低最终的预测偏差,提升模型的鲁棒性。实验结果表明：该改进方法在减少模型参数的情况下,在裂缝数据集上的准确率提升1.6%,在CIFAR-10数据集上的准确率提升2.8%。     

基于CNN-RSC组合优化算法语音情感分析与研究

提出一种基于深度学习的文本情感分析方法,将整个卷积神经网络的模型作为一种自动学习器,对输入词语的预表达特征进行学习,引入深度学习领域的递归自编码作为输出层情感分类器,实现语义情感信息的深度提取.设置实验对比卷积神经网络和递归自编码模型的参数,找出了实验过程的最佳参数组合,实验对比了CNN、RSC、CNN-RSC三种不同的算法.实验结果表明:基于CNN-RSC的组合优化算法在对文本情感特征的自动学习上有着较好的效果,在准确度和训练时间以及分类性能上均优于其他两种算法.     

基于隐马尔科夫模型集成学习的广播关键词检测

由于无线电技术的日益成熟,盗用正常广播频段进行其他活动的非法广播对国民经济和安全造成相当大的危害,因此对非法广播的监测非常重要。本文集成隐马尔科夫模型对广播关键词进行识别,进而监测非法广播。在试验中,首先对采集的非法广播进行人工切割与标定用于训练,然后研究基于集成学习的方法组合多个模型,使用投票规则得到最终结果。将集成学习的PocketSphinx系统与单一模型进行比较,试验结果显示,与单一模型84.8%的识别率相比,集成的PocketSphinx系统识别率达到92%,并且具有更好的稳定性。     

应用联邦自适应UKF的卫星多传感器数据融合

在卫星自主导航系统中,一方面,系统状态模型存在难以准确建模的问题,要求信息融合算法具有一定的自适应性;另一方面,系统的量测模型通常具有较强的非线性,又要求信息融合算法在强非线性下保持较高的精度和鲁棒性. 针对以上两个问题,本文提出了基于星敏感器、红外地平仪、磁强计、雷达高度计、紫外敏感器的多信息联邦自适应UKF组合导航方案,该方案将多个导航传感器提供的信息在联邦滤波器里融合,并采用自适应UKF算法构建联邦滤波器的子滤波器. 采用这种方案,可有效组织并充分利用导航传感器提供的导航信息,并且系统模型具有一定的自适应性. 数字仿真结果表明,与传统的联邦卡尔曼滤波方法相比,该方法更适合于非线性较强、系统模型参数不准确的场合,有效提高了导航精度.     

融合深度学习的无人机巡检绝缘子自爆检测研究

绝缘子自爆检测是无人机电力输电线路巡检的一项重要内容,准确、快速、自动寻找绝缘子自爆区域,能大量节省无人机巡检图像数据处理工作量,提高巡检的精度和效率.本文针对目前绝缘子自爆区域检测存在样本少、目标小且精度不高的问题,提出了一种融合深度学习的无人机巡检绝缘子自爆区域检测方法.该方法用大量绝缘子样本训练深度学习目标识别模...     

一种基于联邦Kalman滤波结构的自适应信息融合方法

鉴于联邦Kalman滤波是一种能在复杂信息融合系统中进行目标状态估计的有效方法．介绍了联邦Kalman滤波器的原理和结构，提出了一种基于联邦Kalman滤波结构的自适应多传感器信息融合算法．仿真结果表明，该算法能有效提高信息融合系统的精度和容错性．具有较高的实用价值．     

基于MLP&ST模型的空气质量预测

针对目前大多数模型均为对已监测区域的空气质量进行预测,而少有对未监测区域进行预测的问题,综合考虑气象因素、空间相关性和时间依赖性对空气质量的影响,提出了一种联合训练模型MLP&ST （MLP&spatial-temporal）,模拟预测北京市未监测区域未来时刻的空气质量指数（air quality index,AQI）。通过实验结果对比确定最佳历史时间步长P值为29;然后将模型与其他空气质量预测模型进行对比。实验结果表明,MLP&ST模型在3种评价指标下（RMSE,MAE,MAPE）皆优于其他对比模型,验证了所提出模型具有良好的预测效果。     

基于深度学习的医疗电子数据特征学习方法

面向高维异构的医疗电子数据,如何才能有效开展特征学习以优化患者联合用药不良预后的风险预测？针对此问题,提出一种基于深度学习的医疗电子数据特征学习方法。首先结合深度学习长短期记忆网络模型和深度稀疏自动编码模型学习具有时序特性的患者联合用药数据的特征表示,并通过二分k-均值聚类方法形成联合用药综合表达因子。然后构建风险预测特征向量和风险相关特征向量,分别用于联合用药的不良预后风险预测和风险相关性分析。最后将该方法与已有的传统方法在真实医疗电子数据集上进行对比实验,结果表明：该方法在患者联合用药的不良预后风险预测中,准确率比传统方法提高了5%～10%,误判率降低了3%～5%,具有较好的风险预测性能。     

融合高斯核及指数函数聚类的点云目标物提取

针对聚类算法的聚类中心重复性和无法对点云聚类的问题,提出了融合高斯核及指数函数的聚类中心均匀化的点云聚类方法,以优化聚类中心的均匀化分布,实现点云的均匀化聚类。首先,根据高斯核函数及密度指数函数确定局部密度,再依据局部密度的大小确定距离参数。其次,依据局部密度和距离参数的乘积确定聚类中心,同时消除聚类中心的邻近化,使得聚类中心更加均匀分布于整个数据集中。最后,利用数据点到聚类中心距离逐个确定每个数据的聚类归属,并合并邻近聚类实现点云目标物的提取。将该算法与常规的基于密度峰值的聚类算法（clustering function based on density peak,CFDP）、K-means聚类算法、具有噪声的基于密度的聚类方法（density-based spatial clustering of applications with noise,DBSCAN）进行比较,该文所提方法可以对教室内3排椅子实现100%的提取。与相对密度关系的峰值聚类（density peak clustering,DPC）算法及深度学习方法相比,所提方法对不同分辨率目标物点云的提取精度均为96.7%,在计算效率和精度方面均优于其他两种方法。     

基于深度学习的车检图像多目标检测与识别

为了实现快速和自动的车辆外观检测,提出一种基于深度学习的车检图像多目标检测与识别方法。首先,采用轻量级神经网络YOLOv3实现车检图像中车头、轮胎、车牌及三角形标志的检测与识别;其次,采用多任务级联卷积神经网络实现车牌4个关键点定位;再次,利用车牌4个关键点坐标,结合目标车牌图像高宽先验,通过透视变换对车牌进行校正;最后,设计卷积神经网络实现车牌底色分类,同时设计卷积循环神经网络,实现车牌字符识别。实验结果表明,在816×612的车检图像上,该方法中端到端的多目标检测与识别的平均精度达98.03%;为便于在车检场景下应用该模型,利用阿里巴巴推理引擎将模型部署到CPU端,使多目标检测与识别的平均速度达10帧/s,从而满足车检的应用需求。     

神经网络剪枝技术研究综述

本文梳理了神经网络剪枝技术的起源与研究进展，将其分为对权重参数稀疏化的非结构化剪枝和粗粒度的结构化剪枝，分别介绍了两者近年来具有代表性的方法。由于剪枝减少了模型参数，压缩了模型大小，使得深度模型能应用于嵌入式设备，表现出剪枝在深度学习模型压缩领域中的重要性。针对现有剪枝技术，阐述了一些在实际应用和衡量标准上存在的问题，并对未来的研究发展方向进行了展望。     

基于局部和全局梯度上升的分段后门防御

针对后门触发器趋于隐蔽且难以检测的问题，提出了一种基于局部和全局梯度上升的分段后门防御方法：在训练前期，引入局部梯度上升扩大后门样本与干净样本平均训练损失之差，隔离出少量高精度后门样本，便于后期进行后门遗忘；在后门遗忘阶段，引入全局梯度上升，打破后门样本与目标类别之间的相关性，实现防御。实验基于3个基准数据集GTSRB、Cifar10和MNIST，在宽残差网络上针对6种先进后门攻击进行了大量实验，分段后门防御方法能够将绝大部分攻击的成功率防御至5%以下。另外，实验也证明了分段防御方法在后门数据集与干净数据集上都能训练出干净等效的学习模型。