基于深度学习的联邦集成算法

联邦学习是多源隐私数据保护领域研究的热点，其框架在满足数据不出本地的情况下，可以训练出多方均满意的共同模型，但存在本地模型参数难以整合且无法在安全的情况下将多源数据充分使用的问题，因此提出基于深度学习的联邦集成算法，将深度学习与集成学习应用到联邦学习的框架下，通过优化本地模型的参数，提高了本地模型准确率；使用不同的集成算法来整合本地模型参数，在提升模型准确率的同时兼顾了多源数据的安全性。实验结果表明：与传统多源数据处理技术相比，该算法在mnist、digits、letter、wine数据集训练模型的准确率依次提升1%、8%、-1%、1%，在保证准确率的同时也提升多源数据与模型的安全性，具有很重要的应用价值。     

基于树突网络的侧信道攻击

由于深度学习对数据内在特征的敏感性,将深度学习算法应用于硬件加密芯片的侧信道分析,提高了侧信道分析的效率和准确率.但深度神经网络学习算法依旧是非线性结构未知的深层黑盒模型,模型结构和性能不一定是最优.该文提出一种基于树突网络的侧信道分析方法,由于树突网络内部非线性结构的可解释性,其系统辨识能力和运算复杂度均优于深度学习网络.在ChipWhisperer侧信道分析实验平台的CW308T-STM32F3和ATXMEGA128D4目标板上,针对AES-128加密算法进行侧信道分析实验,实验结果表明,基于树突网络的侧信道分析在模型参数规模、攻击精度、训练时间等方面都要优于多层感知机、卷积神经网络、循环神经网络等深度学习模型.     

结合类别信念的AdaBoost算法(英文)

集成学习是一种受到广泛认可和使用的机器学习算法.为此提出一种新的多类集成学习算法,即AdaBoost belief.此算法改进多类集成学习算法AdaBoost·SAMME,使每个基分类器对于每个类别都有权重信息.这种类别上的权重被称为类别信念,可通过计算每次迭代中各个类别的正确率得到.将所提出的算法与原有的AdaBoost·SAMME算法从预测准确率、泛化能力以及理论支持等方面进行比较发现:在高斯数据集、多种UCI数据集以及基于日志的多类别入侵检测应用中,该算法不但具有更高的预测准确率和泛化能力,而且当类别数目增加,即类别更难以预测时,其分类错误率较原有AdaBoost·SAMME算法上升得更缓慢.     

一种可信执行环境下的联邦逻辑回归评分卡系统

为了构造评分卡模型并保证数据的隐私性，提出一种可信执行环境下的联邦逻辑回归系统。该系统利用可信执行环境的强安全性来抵御参数交互过程中的推演攻击，通过联合归一化和改进的联邦平均方法分别解决局部数据尺度的不一致性和类别不均衡分布下的评分卡模型有效性问题。在一个公开信用卡违约数据集上的测试结果表明：所提出的改进联邦平均方法与典型联邦平均方法相比，能更有效地应对类别不均衡分布问题；与同态加密联邦学习系统相比，能大大提高执行效率。     

基于CNN-RSC组合优化算法语音情感分析与研究

提出一种基于深度学习的文本情感分析方法,将整个卷积神经网络的模型作为一种自动学习器,对输入词语的预表达特征进行学习,引入深度学习领域的递归自编码作为输出层情感分类器,实现语义情感信息的深度提取.设置实验对比卷积神经网络和递归自编码模型的参数,找出了实验过程的最佳参数组合,实验对比了CNN、RSC、CNN-RSC三种不同的算法.实验结果表明:基于CNN-RSC的组合优化算法在对文本情感特征的自动学习上有着较好的效果,在准确度和训练时间以及分类性能上均优于其他两种算法.     

基于Stacking集成学习的流失用户预测方法

利用机器学习算法对商业活动中普遍存在的客户流失问题进行预测.借鉴了Bagging的自助采样法思想,提出了一种基于自助采样法的Stacking集成方法.首先对数据集进行多次采样并加入属性扰动,然后使用所得数据子集训练基分类器副本,基分类器决策结果由基分类器所对应的副本投票决定.最后在真实数据集中进行流失客户预测实验,结果显示,该文提出的方法在准确率、查准率和F1值3项指标上均好于所有基分类器和同结构的经典Stacking集成方法.     

基于隐马尔科夫模型集成学习的广播关键词检测

由于无线电技术的日益成熟,盗用正常广播频段进行其他活动的非法广播对国民经济和安全造成相当大的危害,因此对非法广播的监测非常重要。本文集成隐马尔科夫模型对广播关键词进行识别,进而监测非法广播。在试验中,首先对采集的非法广播进行人工切割与标定用于训练,然后研究基于集成学习的方法组合多个模型,使用投票规则得到最终结果。将集成学习的PocketSphinx系统与单一模型进行比较,试验结果显示,与单一模型84.8%的识别率相比,集成的PocketSphinx系统识别率达到92%,并且具有更好的稳定性。     

基于改进YOLOv5s的车辆检测研究

【目的】针对目标检测算法在车辆检测领域中应用时存在模型复杂、检测精度较低的问题,基于改进YOLOv5s算法开展车辆检测研究。【方法】以Ghost模块来替换YOLOv5s中的主干网络,以达到模型剪枝的目的,改进后的网络模型复杂度有所降低,从而解决了网络模型较大的问题。同时,可引入挤压—激励注意力机制来提取更重要的特征信息,达到提高检测精度的目的。本研究所用到的数据集均为汽车图像,车辆检测数据集共有12 786张图片,将该数据集按照8∶1∶1的比例进行划分。其中,训练集为10 228张,测试集和验证集均为1 279张,采用对比试验法进行研究。【结果】试验结果表明,与原有的YOLOv5s相比,改进后的网络模型在车辆检测数据集上的平均准确率均值提升3%,查准率和召回率分别提升1.9%和3.2%,模型大小下降42%。【结论】改进后的网络模型有效降低了模型的复杂度,提高了检测精度,并节约成本。     

集成学习在PM2.5预测中的应用研究

【目的】为了能实时预测PM_2.5的浓度。【方法】采用多种集成学习的方法进行模拟预测。传统的预测方式多采用深度学习或普通传统改进的机器学习算法，只考虑多种污染物浓度产生的影响，而忽略了其他气象因素对PM_2.5预测的影响。因此，传统的预测方式在预测精度上有着很多不足。【结果】本研究以哈尔滨近7年的气象数据和大气污染物浓度为数据集，通过皮尔逊相关系数法来提取主要特征，并过滤掉小于0.5的影响因子，同时使用多种集成学习方法对PM_2.5进行预测，观察不同集成学习方法对PM_2.5预测的准确度。【结论】试验结果发现，GBDT模型的拟合效果对新数据的泛化效果最好，其MSE为334.204 6、RMSE为18.281 3、MAPE为83.438 9、SMAPE为50.616 9。     

基于LSTM-DNN模型的入侵检测方法

针对基于深度神经网络模型的入侵检测方法存在的梯度减弱或消失问题，提出了一种LSTM(Long-Short Term Memory，长短时记忆)神经网络改进的DNN(Deep Neural Networks，深度神经网络)模型．该模型主要包括LSTM神经网络和DNN2部分，LSTM神经网络通过记忆或遗忘进行数据流量特征提取，然后将其输入DNN进行训练、入侵检测．模型中采用优化算法，加快了网络收敛．实验表明，与LSTM模型相比，LSTM-DNN模型具有较好的性能，准确率更高，运行时间更短．     

基于Relief-PGS优化算法的数据分类

【目的】在选取图像特征对图像进行分类时,选取的特征属性是否冗余会影响到图像分类的正确率。为提高分类的准确率,使用Relief-PGS优化算法对特征子集和支持向量机参数同步进行优化。【方法】首先使用Relief算法对特征数据集进行筛选,其次将筛选出的特征子集数目和支持向量机参数一起编码到粒子群-遗传算法中进行同步优化,最后对处理后的数据集进行分类,能有效提高分类的准确率。【结果】选取UCI数据库中的5种数据集进行分类,与传统的SVM算法、PGS算法和Relief-SVM算法相比,Relief-PGS优化算法对图像分类的准确率分别提高了22.53%、6.05%和11.16%。【结论】研究结果表明,Relief-PGS算法在去掉不重要特征的同时,对支持向量机参数进行优化,能有效提高分类的准确率。     

基于深度学习的医疗电子数据特征学习方法

面向高维异构的医疗电子数据,如何才能有效开展特征学习以优化患者联合用药不良预后的风险预测？针对此问题,提出一种基于深度学习的医疗电子数据特征学习方法。首先结合深度学习长短期记忆网络模型和深度稀疏自动编码模型学习具有时序特性的患者联合用药数据的特征表示,并通过二分k-均值聚类方法形成联合用药综合表达因子。然后构建风险预测特征向量和风险相关特征向量,分别用于联合用药的不良预后风险预测和风险相关性分析。最后将该方法与已有的传统方法在真实医疗电子数据集上进行对比实验,结果表明：该方法在患者联合用药的不良预后风险预测中,准确率比传统方法提高了5%～10%,误判率降低了3%～5%,具有较好的风险预测性能。     

UGES反向传导算法:一种新的小样本深度机器学习模型

针对传统深度学习算法在样本不足时易出现过拟合的问题,提出了一类新的小样本深度学习模型:UGES反向传导模型。其基本思路是:在保留深层结构的同时,压缩需要学习参数的数量。作为一种与误差反向传导算法相容的间接编码模型,该算法对权值的随机分布特性进行重新编码,打破了不同隐含层之间的隔阂,并使用变分贝叶斯学习对网络进行全局训练。新模型的参数数目不再与输入变量维数及网络结构大小相关,同时强迫权值对于一定程度的扰动具有鲁棒性。最后,将所提出的算法用于外包软件项目风险识别这一典型的多维小样本问题中。对比实验表明,该模型达到了93.3%的样本外准确率,不仅保留了深度模型非线性表达能力,亦具备了小样本下优秀的泛化能力。     

面向深度学习过拟合问题的神经网络模型

针对机器学习算法中的过拟合问题,提出一种基于支持向量数据描述的深度学习神经网络模型.在高效利用深度学习的表达能力的基础上,通过在分类中获取最大间隔的方式,解决不可见数据模型的精度较差的问题,具有非常好的泛化性能.仿真结果表明,提出的模型可以学习多类数据,同时大幅度降低过拟合.     

基于XML的异构数据集成系统的研究与设计

本文针对当前异构系统中存在的数据孤立问题,在对多源异构数据集成技术以及基于XML文档的异构数据集成、交换技术进行研究的基础上,设计了基于XML的异构数据集成的流程和技术路线,针对数据库与XML文档的异同,分析并设计了数据库与XML文档之间的映射和转换模型,通过应用实例描述了基于XML-QL查询语言的异构数据集成算法。     

基于运动历史图像与卷积神经网络的行为识别

针对人体行为识别难于兼顾速度与精度的问题,提出了一种结合运动历史图像(MHI)与卷积神经网络的行为识别算法.该算法首先从原始视频序列中计算MHI,不仅减少了待处理的信息量,还提取了行为识别中的关键时空信息;接着以MHI作为输入,搭建了深度卷积神经网络,可以更好地表达时空信息;最后利用随机梯度下降法与dropout策略训练网络,实现行为类别分类.对比不同卷积神经网络训练与测试实验,该算法在Weizmann行为识别数据集上取得了95%的平均识别率,相较于未改进的网络结构提升了1.2%;对于持续时间为1.6s的行为动作,该算法的识别时间为1.56s.实验结果表明,所提算法在维持较高识别准确率的同时,实现了人体行为的在线实时识别与分类.     

应用联邦自适应UKF的卫星多传感器数据融合

在卫星自主导航系统中,一方面,系统状态模型存在难以准确建模的问题,要求信息融合算法具有一定的自适应性;另一方面,系统的量测模型通常具有较强的非线性,又要求信息融合算法在强非线性下保持较高的精度和鲁棒性. 针对以上两个问题,本文提出了基于星敏感器、红外地平仪、磁强计、雷达高度计、紫外敏感器的多信息联邦自适应UKF组合导航方案,该方案将多个导航传感器提供的信息在联邦滤波器里融合,并采用自适应UKF算法构建联邦滤波器的子滤波器. 采用这种方案,可有效组织并充分利用导航传感器提供的导航信息,并且系统模型具有一定的自适应性. 数字仿真结果表明,与传统的联邦卡尔曼滤波方法相比,该方法更适合于非线性较强、系统模型参数不准确的场合,有效提高了导航精度.     

面向智慧城市的多依赖任务计算迁移研究

针对智慧城市的时延敏感型多依赖任务调度问题,提出了边缘计算赋能的智慧城市架构,并设计了一种计算迁移方法,以满足任务调度需求。首先建立了多依赖任务模型、任务的时延约束模型以及智慧城市服务器的负载约束模型。然后使用深度强化学习算法训练出可感知任务间依赖关系的智能体,以实时地进行计算迁移决策。一系列实验验证了该方法在时延、能耗优化方面的有效性。     

基于残差块的遥感图像目标识别自编码网络

实现遥感图像目标识别的智能化是一个亟待解决的问题.由此建立了黑龙江地区地表高清遥感图像数据集,以深度学习为基本工具,设计了基于残差块的遥感图像目标识别自编码网络,并使用优化算法对学习过程进行了优化提升.搭建了实验平台,完成了对神经网络的训练和测试实验,验证了该文所提算法的有效性,为实现遥感图像目标识别的智能化提供了有效方案.     

基于注意力机制与YOLOv5s的轻量化农作物害虫检测方法

为解决在自然环境中人工检测害虫精度低、速度慢的问题,提出了一种基于注意力机制与YOLOv5s的轻量化目标检测算法．首先,使用Ghost卷积替换YOLOv5s中的普通卷积,得到轻量化的主干特征提取网络．其次,在YOLOv5s中加入加权双向特征融合机制,从而实现高效的双向交叉连接和多尺度特征融合．最后,在主干网络中加入坐标注意力机制,从而增强网络模型对位置信息的关注．与原YOLOv5s算法相比,新算法在IP102农作物害虫检测数据集上的平均精度均值提升了2.1%,模型参数量和计算量分别减少了44.6%和44.3%,检测速度为64.8FPs．实验结果表明,基于注意力机制与YOLOv5s的轻量化目标检测算法不仅提升了农作物害虫检测精度,而且显著降低了模型参数量和计算量,能够满足农作物害虫检测的应用需求．