基于迁移学习的高分辨率遥感影像场景分类研究

对于小样本集合的遥感影像场景分类问题,采取了一种基于迁移学习的卷积神经网络高分辨率遥感影像识别方法,通过深度卷积神经网络Inception-v4在ImageNet上训练,得到预训练模型以及相应的初始化参数,随后将小样本遥感数据按比例划分注入预训练模型当中,根据样本集合特征,不断调整网络参数以便获得最佳识别分类模型.最后将本文的方法与现有的场景分类方法进行实验对比,测得该方法在UC merced land use场景影像数据集上取得97.92%的准确率,有效提高了高分影像场景分类精度.     

粒子群优化深度交叉神经网络推荐算法设计研究

深度交叉网络(DCN)因无法针对不同的数据集准确设置超参数,导致点击率预估模型无法达到最优解。基于此,提出粒子群优化深度交叉神经网络推荐算法(PSO-DCN),该算法通过使用粒子群优化算法的全局搜索特性,对深度交叉神经网络层数及每层神经元个数进行全局搜索,并将其最优值放入DCN模型中运行进行参数优化。在不同的数据集上,进行数次实验对比,实验结果表明PSO-DCN在模型训练速度以及测试集上的表现都较优于当前流行的基于深度学习框架的推荐算法。     

基于改进主动学习和自训练的联合算法

针对主动学习面向大型数据集人工标记成本过高和半监督自训练算法中存在误标记点影响的问题,提出了一种主动学习与半监督自训练交替迭代训练的联合算法．算法在训练过程中奇数轮次采用主动学习算法,偶数轮次采用自训练算法,通过2种算法的交替迭代训练以弥补彼此不足．自训练算法对无标记样本的预测减轻了主动学习标记样本的负担,同时主动学习标记易变成噪声的样本,减轻了自训练算法训练过程中对样本的标记错误．提出了一种基于密度峰值聚类和隶属度的改进主动学习算法:将初始无标记样本聚类成簇,根据隶属度差值在每个簇内选取部分样本做人工标记,获得可表达样本的整体结构的均衡样本．仿真试验表明:提出的联合算法在性能上要优于2种单一算法．对比常见的主动学习算法,改进后的主动学习算法分类性能得到显著提升,将其应用于联合算法中的效果更具优势．      

SVD++推荐算法的超参数

SVD++算法由于其能够融入评分信息和隐式信息得到了广泛的应用。SVD++算法中的模型参数可以通过随机梯度下降或者最小二乘法得到最佳参数。但是SVD++中的超参数需要手动选取,而超参数会极大影响SVD++模型的准确度。本文使用两个常见的数据集,并且选取了不同的训练集-测试集切割比,使用随机梯度下降算法,对SVD++中的两个超参数学习步长和规则化参数进行研究,选用评分指标中应用最广的三个评测指标RMSE、MAE、MSE,分别得到了效果最好的超参数值。同时通过实验,本文得到了超参数对SVD++算法影响规律和一系列结论,对SVD++算法在其他数据上如何选取最好超参数值有参考意义。     

基于深度模型的场景自适应行人检测

针对现有基于机器学习的行人检测算法存在当训练样本和目标场景样本分布不匹配时检测效果显著下降的缺陷,提出一种基于深度模型的场景自适应行人检测算法.首先,受Bagging机制启发,以相对独立源数据集构建多个分类器,再通过投票实现带置信度度量的样本自动选取;其次,利用DCNN深度结构的特征自动抽取能力,加入一个自编码器对源-目标场景下特征相似度进行度量,提出了一种基于深度模型的场景自适应分类器模型并设计了训练方法.在KITTI数据库的测试结果表明,所提算法较现有非场景自适应行人检测算法具有较大的优越性;与已有的场景自适应学习算法相比较,该算法在检测率上平均提升约4%.     

基于EfficientDet的高效目标检测算法研究

针对神经网络训练时收敛慢和模型泛化能力差的问题,文章首先分析传统的和基于深度学习的目标检测算法各自的优势和不足,接着概括梯度下降法各种变体优化算法和现阶段主流数据增强方法对应的优缺点,最后对训练时的优化问题提出组合使用AdaMod和AdamW的训练优化方案,提高了训练网络收敛效率。针对深度神经网络性能表现比较依赖于数据集从而导致泛化能力差的问题,该文使用基于线性插值的数据增强方案,对类别不同的样本之间的领域关系进行建模,增强了神经网络的健壮性。在VOC07+12数据集上实验结果表明EfficientDet-d0检测算法模型参数量、浮点计算量、精度和泛化性能比较均衡,泛化能力得到增强,训练过程收敛更快,验证了该文提出的训练优化方案和使用的数据增强方法是有效的。     

采用双经验回放池的噪声流双延迟深度确定性策略梯度算法

为了进一步提高双延迟深度确定性策略梯度算法(TD3)的网络探索性能和收敛速度,提出一种采用基于多步优先和重抽样优选机制的双经验回放池的噪声流TD3算法。该算法在策略网络中的每一层添加噪声流以增加参数的随机性,并引入多步优先经验回放池,将多个连续样本组成一个基础单元进行存储,训练时通过多步截断双Q处理实现对值函数的有效逼近,同时增加一个经验回放池采用重抽样优选机制来存储学习价值更大的样本,双经验回放池的设置可弥补样本多样性不足的问题。在OpenAI Gym平台的Walker2d-v2场景中进行仿真实验,结果表明,与对比算法相比,本文算法获得的回报值有明显改善,网络收敛速度也大大加快。     

基于深度卷积神经网络与中心损失的人脸识别

传统人脸识别方法手工设计特征过程复杂、识别率较低,对于开集人脸识别通用深度学习分类模型特征判别能力较弱。针对这两方面的不足,提出了一种以分类损失与中心损失相结合作为模型训练监督信号的深度卷积神经网络。首先,利用构建的应用场景数据集优调从公共数据集获得初始化参数的深度人脸识别模型,解决训练数据过小和数据分布差异问题,同时提高模型训练速度;然后,以传统损失函数和新的中心损失作为迁移学习过程中的监督信号,使得类内聚合、类间分散,提高模型输出人脸特征的判别能力;最后,对人脸特征进行主成分分析,进一步去除冗余特征,降低特征复杂度,提高人脸识别准确率。实验结果表明,与传统人脸识别算法相比该算法可以自动进行特征提取,并且相对于通用深度学习分类模型该算法通过度量学习使特征表示更具判别力。在自建测试集和LFW、YouTube Faces标准测试集上都取得了较高的识别率。     

基于SMOTE和机器学习的网络入侵检测

网络入侵检测已经广泛运用机器学习模型,但是研究者们多关注模型选择和参数优化,很少考虑数据不平衡的影响,往往会导致少数类入侵样本的检测效果较差.针对该问题,以SMOTE （synthetic minority oversampling technique）数据再平衡算法为研究重点,应用入侵检测数据集KDD99作为原始训练集,使用简单抽样和SMOTE算法生成再平衡训练集.采用多种机器学习模型分别在原始训练集和再平衡训练集进行5折交叉验证.实验结果表明,与原始训练集相比,使用再平衡训练集建模能够在不降低甚至提高多数类样本识别效果前提下,使少数类样本的识别准确率和召回率增强10%～20%.因此,SMOTE算法对不平衡样本下的网络入侵检测有显著的提升作用.      

基于深度学习与数据增强技术的小样本岩石分类

在油气勘探中,利用深度学习技术对岩石进行识别与分类能极大提高工作效率。岩石采样并制作样本图像费时费力,因此岩石样本通常较少。有鉴于此,基于深度学习技术设计一个新的神经网络模型MyNet,该模型能对小样本进行学习并完成岩石样本的分类。使用数据增强技术通过Python编程将314张岩石样本扩充成28272张图像,为了充分利用现有数据,取其中的27384张作为训练集,剩余888张作为测试集。将数据分别导入MyNet、ResNet50、Vgg16进行训练和测试。实验结果表明,加载、不加载预训练参数的ResNet50、Vgg16的岩石分类结果因受有无迁移学习影响会有所不同;MyNet的总体分类准确率为75.6%,均优于有无迁移学习的ResNet50、Vgg16,且其结构复杂度与训练代价明显低于比较模型,说明新模型应用于小样本的岩石分类可行有效且经济安全,更容易推广应用。     

基于无监督学习的实时公交动态调度的研究

针对广州智能公交调度的优化问题,提出一种基于无监督学习的实时公交动态调度算法,结合乘客利益和公交公司利益总体最优为目标,通过无监督学习方法学习到公交客流出行特征表达的提取,利用吸引子传播(affinity propagation,AP)聚类算法的优化数据集与支持向量机(support vector machine,SVM)的训练样本集相结合建立预测模型训练,运用公交线网发车间隔和加权系数的目标函数优化调度数学模型,将多源信息融合及多策略的实时公交动态调度算法引入到求解模型中,利用深度学习的异常突发事件分类检测方法实现调度优化模型的实时调整。实验结果表明,AP聚类算法程序运行耗时16 s、高峰发车间隔5 min,比遗传算法运行效率更高、时间间隔更精确,实例证明模型和算法具有实用性和可靠性。     

基于机器学习方法的地震破坏预测

地震破坏预测研究对于建筑结构减灾规划、震前风险预测、震后应急评估有着重要意义。传统的方法因为受到震害资料数量的限制以及计算精度和能力的制约,一般基于经验只考虑少数因素对结构破坏的影响。通过使用随机森林算法,设计了一个综合考虑地震动、结构和场地等多维度信息的分类方法,用以预测建筑物的地震破坏程度。本文研究框架基于新西兰国家地震委员会所收集的27次地震详细破坏资料,处理得到14.2万条高质量建筑物损失数据,考虑了谱加速度、建筑形状、层数等16个影响因素,将4种不同的损伤状态作为模型的学习标签进行地震破坏预测训练。结果表明,随机森林算法在6种分类算法中性能最佳,经过学习曲线法调参、代价敏感学习之后,经过优化得到的随机森林模型对于测试集的整体预测精确率可以达到75.4%,对4种损伤标签的召回率分别达到了88.2%、55.0%、60.7%和70.8%,远好于其他方法。当只考虑对结果影响最重要的前12个因素,该模型的预测精度仍然能够达到73.7%。可见,基于此框架所训练的预测模型具有良好的精度与适用性,同时该框架对于中国震害资料大数据库的研究具有较高的参考价值。     

基于深度无监督学习的图像分类算法

为了取得精确的图像分类效果,一方面需要提取大量的图像特征数据进行样本分析,另一方面大量的数据又造成了维数灾难.因此,为了解决信息全面与维数灾难的矛盾,引入了深度学习.深度学习利用分层结构处理复杂的高维数据,可以完成复杂函数的逼近,是一类具有多层非线性映射的学习算法,但深度学习模型优化困难且对隐层参数敏感.针对上述问题,将无监督算法引入深度学习,这种学习方法无须人工设计特征提取数据,训练过程中样本标签是未知的.实验表明,该算法在不影响图像分类效果的前提下,可以大大降低计算复杂度,具有一定的时效性.     

基于马氏椭球学习机的多类文本分类算法

提出一种基于马氏超椭球学习机的多类文本分类算法。对每一类训练样本,训练马氏超椭球学习机,使其包含该类尽可能多的样本,同时将噪音点排除在外。对于待分类样本,通过待分类样本的映射到每个超椭球球心的马氏距离确定其类别。实验结果表明,该算法提高了分类精度和分类速度。     

基于改进深度森林的短期电力负荷预测模型

深度学习模型通过学习数据的深层特征能够有效提高电力负荷预测的准确率,但同时也带来了超参数较多、模型可解释性差等问题。针对这些问题,文中将深度森林模型引入短期电力负荷预测领域。在多粒度级联森林模型的基础上改进了多粒度窗口扫描方法,调整窗口大小与滑动步长,使模型能够在不同时间尺度下提取电力负荷数据的周期性特征。此外,改进深度森林输出层的计算方法,将输出结果由离散的类向量改进为连续的预测值,进而提高模型的精确度。最后在中国东北电网的实测数据中验证了文中所提出方法的可行性与有效性。从实验结果可知,改进深度森林算法在较高预测精度的情况下能取得更高的准确率,并且相较于深度神经网络具有更快的学习速度。     

基于BP神经网络的隧道下穿既有运营地铁线注浆施工参数预测——以广州地铁18号线隧道注浆工程为例

新建隧道下穿既有运营地铁线施工过程中极易对既有运营地铁线产生不利影响,而广泛采用的超前预注浆尚处于以经验性选取注浆施工参数的阶段,导致工程事故频发。为此,首先以开挖段地层物性参数、地层位移变化值作为输入层,注浆施工参数为输出层,构建了基于BP(back propagation)神经网络的注浆施工参数预测模型;其次,以MAPE(mean absolute percentage error)作为预测精度评价指标,采取试算法对BP神经模型参数(隐含层节点数目、学习率)进行了探讨;最后,将提出的BP神经网络用于指导工程实践。研究结果表明：当BP神经网络预测模型隐含层节点数为9、学习率为0.01、训练次数为20 000以及精度目标值为1×10^-4时,模型适用性评价显示预测值与监测值之间最大相对误差为19,平均相对误差均低于13,说明提出的BP神经网络预测模型可行;进一步的工程应用结果表明：采用预测的注浆施工参数进行注浆后掌子面稳定、开挖过程中未发生隧道塌方等事故,满足相关规范要求。研究成果也可在隧道下穿其他结构或建筑物灾害防控注浆工程中得到推广应用。     

基于ResNet模型的甲状腺SPECT影像诊断

为了降低医生利用SPECT影像对甲状腺疾病进行临床诊断时的误诊率,提高深度学习算法在核医学影像辅助诊断中识别交叉影像特征的准确率,提出了基于ResNet模型的甲状腺SPECT影像诊断方法。利用深度卷积生成对抗网络(DCGAN)和高分辨率生成对抗网络(SRGAN)生成影像并提高分辨率,弥补训练数据的不足。同时,将残差块输出信息加上具有交叉特征影像信息的x_i,在保留已学习影像特征的基础上增加对交叉特征的学习,改进了模型。对于交叉影像特征,使用交叉训练集对经过单一特征影像训练完成的改进ResNet神经网络模型进行再训练。实验结果表明,经过100轮迭代,交叉训练集训练的改进ResNet神经网络模型验证精度高达0.963 3,验证损失降到0.118 7,并趋于稳定;识别结果,召回率、精确率、特异度和F_1分数都在93.8%以上。经过改进的神经网络模型和新的训练方法对甲状腺SPECT影像表现出的典型症状识别率较高,优于其他基于卷积神经网络(CNN)的方法,对临床影像诊断具有参考价值。     

基于深度强化学习的水下机器人最优轨迹控制

为了实现水下机器人在跟踪复杂轨迹时具有出较高的精度和稳定性,提出了利用深度强化学习实现水下机器人最优轨迹控制的方法:首先,建立基于2个深度神经网络（Actor网络和Critic网络）的水下机器人控制模型,其中Actor网络用来选择动作,Critic网络用来评估Actor网络的训练结果;其次,构造合适的奖励信号使得深度强化学习算法适用于水下机器人的动力学模型;最后,提出了基于奖励信号标准差的网络训练成功评判条件,使得水下机器人在确保精度的同时保证稳定性. 仿真实验结果表明:在解决一定精度内的水下机器人复杂轨迹跟踪问题时,该算法与传统PID控制算法相比具有更优的性能.     

基于深度学习的Wi-Fi信号编码参数盲识别

通信链路层特征盲识别是智能通信和通信对抗领域关键技术。为提高基于IEEE 802.11协议的无线（局域）网/无线保真（wireless fidelity,Wi-Fi）信号的编码参数盲识别精度,提出了一种基于深度学习的低密度奇偶校验码（low density parity check code,LDPC）编码参数盲识别算法,可准确盲识别信道编码算法的信息位码长和码率。算法以解调后的比特流为训练数据集,搭建多层深度神经网络模型,经过多次调参和迁移训练,最终得到了能够准确预测编码参数的网络模型。实验结果表明,该网络模型能够在高达10%误码条件下得到优于91%的编码参数盲预测率,在无误码的条件下,编码参数盲预测准确度高达95.32%,为智能通信和通信对抗的研究提供了一定参考价值。     

基于深度森林算法的油井产量预测研究

为了克服传统机器学习算法产量预测模型的缺点,以深度森林算法理论为基础,综合油井相关各项数据,建立了油井产量预测新模型。首先应用KNN最邻近方法和Z-Score标准化方法对油井相关数据进行预处理,利用MDI特征选择方法选择对油井产量影响最大的特征向量,然后将选出的特征向量作为深度森林模型的输入变量,建立深度森林产量预测模型,利用网格化搜索优化模型参数,最后在测试集上运行模型,对模型性能进行评估。研究结果表明,相对于BP神经网络等传统机器学习算法模型,深度森林模型的产量预测精度更高,可以准确预测油井产量,同时相对于深度神经网络等复杂学习算法,该算法参数少、调参及应用简单,为油井产量预测提供了一种新的方法和思路。