基于自注意力机制的TransNet推荐模型

在神经网络的推荐模型基础上引入自注意力机制，提出一种改进的基于自注意力机制TransNet推荐模型SATransNet。SATransNet模型使用卷积神经网络提取评论特征，通过自注意力神经网络自动学习特征内部的依赖关系，由依赖关系来决定需要关注的特征，从而解决数据表达能力不足的缺陷。本文在不同数据集上进行了实验比较与分析，SATransNet推荐模型在不同数据集上的预测评分较好，均方误差总体呈优。与基于注意力机制的推荐模型相比，SATransNet推荐模型的归一化折损累计增益均有提升，具有较好的预测评分效果和推荐相关性。     

基于注意力机制的CNN-LSTM模型的航迹预测

基于数学模型或统计模型的传统航迹预测方法存在一定的局限性，无法满足现代航空领域对于高效、准确、实时的航迹预测需求。针对此问题，提出基于注意力机制的CNN-LSTM模型的实时航迹预测方法。该模型首先使用一维卷积对航迹数据的多维度特征进行提取，从而减少输入特征的数量。其次利用获取的多维度时序数据作为LSTM的输入，通过LSTM提取上下文的信息。最后使用注意力机制为LSTM中不同时序节点的输出赋予权重，达到聚焦关键航迹信息的作用。经过实验验证：本文的模型与LSTM模型和CNN-LSTM模型相比，预测出的路径更接近真实航迹；文中的模型比LSTM模型的平均预测误差降低了29.7%，比CNN-LSTM模型降低了25.4%。综上所述，文中方法可以显著提高航迹预测的精度。     

基于注意力与LSTM的航空发动机剩余寿命预测

预测性维护的核心技术之一是设备剩余寿命（remaining useful life, RUL）预测。为了提高航空发动机的剩余寿命预测精度,提出了一种基于注意力与长短期记忆（directional long short-term memory ,LSTM）网络的航空发动机剩余寿命预测模型Attention-LSTM,通过引入注意力机制增强各时间点数据的特征权重,有效提升了模型预测精度。使用NASA C-MAPSS涡扇发动机仿真数据集进行实验,与未加注意力机制的长短期记忆网络等多种模型进行对比实验。实验结果表明,提到的Attention-LSTM模型的均方根误差相比较于未引入注意力机制的长短期记忆网络降低了17.8%,拟合度提升了3.2%,各项评估指标均也优于其他对比模型。     

一种改进的可解释SAR图像识别网络

SAR-BagNet模型是一种应用于合成孔径雷达(SAR)图像识别的可解释深度学习模型。为了使SAR-BagNet模型在具有可解释性的同时具有较高的识别精度，以SAR-BagNet模型为基础，在模型框架中加入了空间注意力和坐标注意力机制，并在MSTAR实测数据集上进行了实验。实验结果表明，空间注意力和坐标注意力机制增强了SAR-BagNet模型的全局信息获取能力，能够在不降低其可解释性的基础上，有效提高模型的识别精度和决策合理性。     

基于双通道模型的航空发动机剩余寿命预测

针对现阶段航空发动机单一剩余使用寿命预测模型数据挖掘深度不足导致预测精度低的问题，提出一种双通道模型的预测方法。首先，构建双通道网络结构：通道一使用时间卷积网络，通过残差结构和空洞卷积使得网络具有更大的感受野和计算速度；通道二使用卷积长短时间记忆网络，提取多维时空特征，捕捉数据长期依赖关系。其次，利用多头注意力机制为双通道网络特征重新赋予权重。最后，将双通道网络进行特征融合输出，实现对航空发动机剩余寿命预测。使用涡扇发动机退化数据集进行实验验证，并与其它文献中提到的卷积双向长短时间记忆网络模型、多特征注意力模型、多头注意力模型、卷积门控单元循环神经网络模型进行对比。结果表明，所提模型在3种评价指标上均取得更好的表现，为航空发动机剩余寿命预测提供了一种新思路。     

基于数据编解码的时空交通流预测方法

针对路网的拓扑信息不完整而无法实现时空结合交通流预测的情况，提出了一种基于时间序列预测模型联合数据编解码机制的预测方法。对路网内路段交通流数据进行编码得到路网信息的链状结构，以此获取路网结构中的拓扑信息；通过时序模型对链状结构进行交通流预测，完成对链状结构的时序特征提取；最终，通过解码方法得到路网的时空交通流预测结果。采用GPS数据，选取不同路网进行对比实验，引入数据编解码的时空交通流预测方法与时间序列模型进行比较，并且与基线模型HA和ARIMA展开了对比实验。实验结果表明：深度学习模型引入数据编解码机制后，模型性能明显提升；引入数据编解码机制的深度学习模型的性能比基线模型的性能更优越。该方法仅仅使用简单的时间序列深度网络再联合数据的编解码机制即可实现时空结合的交通流预测。     

基于局部信息增强注意力机制的网络流量预测

准确预测网络中设备的流量状态对网络测量和管理具有重要的意义，有助于进一步提高网络服务质量和用户体验质量。然而，由于网络流量具有强烈的非线性和不确定性使得传统的统计方式或者机器学习方法很难获得较好的预测效果。为了进一步提升网络流量预测精度，设计实现了一种局部上下文信息增强的注意力机制，通过卷积计算将输入转换为Q和K，从微观角度对时间序列进行解释，提高了注意力机制的局部感知能力。进而将提出的注意力机制分别与长短期记忆人工神经网络(LSTM)和门控循环单元(GRU)两个时序预测模型相结合并将结合后的模型用于某运营商提供的两个不同网络流量数据集进行网络设备流量预测。实验结果表明基于局部上下文信息增强注意力机制的预测模型具有更好的预测效果。     

基于注意力机制及长短期记忆神经网络的慢性阻塞性肺疾病氧减状态辨识

为提高慢性阻塞性肺疾病氧减状态的辨识性能，该文将注意力机制有效融入长短期记忆神经网络，提出了一种基于注意力机制的长短期记忆神经网络方法：首先，抽取每个待辨识状态点的四种有效鉴别特征，包括血脉氧饱和度指数、脉搏、血脉氧饱和度指数的窗口特征以及梯度特征；其次，在此特征表示的基础上，通过引入注意力机制，使用训练集来训练基于注意力机制的长短期记忆神经网络；最后，使用测试集来验证所训练模型的有效性。与多个经典机器学习算法的对比实验结果表明：所提出的基于注意力机制的长短期记忆神经网络方法的辨识模型能够准确识别氧减状态，全局性能指标曲线下面积达到了0.853 1。所提方法对于慢性阻塞性肺疾病的准确诊断具有重要的参考价值。     

一种基于深度神经网络的汉语语音合成韵律结构预测模型

近年来,随着语音信号处理技术的发展,合成语音在很多场景下已经能够满足实际的基本要求,但在自然度上方面,还需要进一步提高和改进。在汉语语音合成中,韵律结构的预测对于自然度的影响非常大,如何精确预测韵律结构,成为语音合成技术中需要解决的重要问题。该文结合注意力机制将深度神经网络双向RNN模型用于汉语韵律词的预测,得到的预测结果表明,具有注意力机制的双向RNN模型在进行韵律词的预测方面能够获得比较准确的效果。     

结合双向LSTM和注意力机制的车辆轨迹预测

为提升智能交通、自动驾驶等系统的管理和服务质量,提出一种双向长短期记忆网络结合注意力机制的车辆轨迹预测模型。采用道格拉斯-普克压缩算法对轨迹数据进行压缩预处理,减少数据中的冗余;在编码器中使用双向长短期记忆网络充分捕获时间相关性特征,并采用自注意力机制获得与邻近车辆之间的全局空间相关性特征;通过解码器的全连接层获取车辆的未来位置,并通过模型迭代获得完整的预测轨迹路线。实验结果表明,提出的模型预测性能优于对比模型。此外,消融实验结果表明,引入轨迹压缩算法与改进的长短期记忆网络结合注意力机制对预测准确度均有积极贡献。     

基于CNN-LSTM-Attention的短期风向预测研究

风向预测对提高风能转化率、保障风力发电机偏航系统安全运行及增加风力发电效益具有重要意义。为准确预测风向,提出一种基于CNN-LSTM-Attention的短期风向预测模型。首先,利用卷积神经网络(Convolutional Neural Network, CNN)提取风向数据动态变化特征,然后将所提取的特征向量构成时间序列作为长短期记忆(Long Short-Term Memory,LSTM)网络的输入,最后使用注意力机制(Attention mechanism)分配LSTM隐含层不同权重,增强重要特征的作用,完成风向预测。采用北部湾海域历史风向数据,通过实验与其他神经网络预测模型进行对比,结果显示,CNN-LSTM-Attention模型的相对平均误差(MAPE)值为3.2119%,R²为0.982 6, 优于其他对比模型。所得结果为广西北部湾海域海上风电探索发展提供参考。     

Predictor-based error correction method in short-term climate prediction

In terms of the basic idea of combining dynamical and statistical methods in short-term climate prediction, a new prediction method of predictor-based error correction (PREC) is put forward in order to effectively use statistical experiences in dynamical prediction. Analyses show that the PREC can reasonably utilize the significant correlations between predictors and model prediction errors and correct prediction errors by establishing statistical prediction model. Besides, the PREC is further applied to the cross-validation experiments of dynamical seasonal prediction on the operational atmosphere-ocean coupled general circulation model of China Meteorological Administration/ National Climate Center by selecting the sea surface temperature index in Niño3 region as the physical predictor that represents the prevailing ENSO-cycle mode of interannual variability in climate system. It is shown from the prediction results of summer mean circulation and total precipitation that the PREC can improve predictive skills to some extent. Thus the PREC provides a new approach for improving short-term climate prediction.     

Predictor-based error correction method in short-term climate prediction

In terms of the basic idea of combining dynamical and statistical methods in short-term climate prediction, a new prediction method of predictor-based error correction （PREC） is put forward in order to effectively use statistical experiences in dynamical prediction. Analyses show that the PREC can reasonably utilize the significant correlations between predictors and model prediction errors and correct prediction errors by establishing statistical prediction model. Besides, the PREC is further applied to the cross-validation experiments of dynamical seasonal prediction on the operational atmosphere-ocean coupled general circulation model of China Meteorological Administration/National Climate Center by selecting the sea surface temperature index in Nifio3 region as the physical predictor that represents the prevailing ENSO-cycle mode of interannual variability in climate system. It is shown from the prediction results of summer mean circulation and total precipitation that the PREC can improve predictive skills to some extent. Thus the PREC provides a new approach for improving short-term climate prediction.     

基于Hadgem2_ES的气候变化对金华江流域枯水变化的影响评估

气候变化引发降雨径流等水文要素的变化已经成为学界的共识,浙江省内近年来频发的气候极端事件更是引起众多学者的重视。枯水水文作为水文学的一部分,分析其变化有其积极的实际意义。选取了金华江流域1975-2004年的日降水、温度和径流资料,使用多站统计降尺度方法,基于最新CMIP5中的Hadgem2_ES模型,利用GR4J水文模型模拟了未来(2071-2100年)的径流,重点分析了几个重要枯水指数7Q10和30Q10的变化。结果表明,未来这两个指数都有明显的上升趋势,即气候变化可能缓和金华江流域未来的枯水情况。     

气候变化对雄安新区城市建设的影响及应对策略

 利用全国近50年气象资料（雄安1974年以来的完整资料）,研究分析了全国尤其是雄安近几十年来的气候变化和气候生态特征。雄安属暖温带半湿润季风气候,气候背景与北京、天津类似。近几十年来,气温、降水等气象要素的变化趋势明显但幅度较弱,年平均气温变化趋势为平均每10年升高0.2℃,高温日数平均每10年增加0.8 d,暴雨日数呈减少趋势,上述要素的变化幅度虽低于全国及周边城市,但均显示出了气候变化对雄安的影响,且极端天气事件也呈增加的趋势,如强降雨重现期缩短,极端强降雨量明显增大等,这与IPCC（联合国气候变化政府间专门委员会）的报告和中国大部地区趋势一致。结合灾害历史资料分析和气候模式预测,指出在全球气候变暖背景下,雄安新区在发展中将面临气候变化背景下增加的气象灾害和气候风险,进而给出了相关城市建设的建议。     

基于多源遥感的森林变化对区域温度影响的监测方法研究进展

人类活动通过改变土地覆被促成森林面积变化,推动碳收支和地表能量平衡发生相应变化,进而影响全球和区域尺度的气候。现有森林变化对区域温度的影响研究主要集中在有限精度的森林变化数据与温度数据结合的简单统计方法,但高可靠度的森林变化及其生物物理过程对区域温度的影响研究表明,准确、全面地理解森林与气候之间的生物物理相互作用机制,能为森林生态系统的全面评估提供科学支撑。笔者综合分析了基于多源遥感的森林变化结合其生物物理过程对区域温度影响的多种监测方法,结果发现:①多源中高分辨率森林变化数据的有限可用性一直阻碍着对温度变化影响的精准量化;②集成遥感观测数据的多种方法在量化森林变化的生物物理机制对于区域温度变化影响的评价不一致。因此,森林变化的生物物理机制及其温度效应是一个值得深入分析的问题。未来需要充分发挥多种数据源合理集成后用于解释森林响应气候效应方面的交叉优势,理解生物物理机制与生物化学机制共同作用下的森林变化、碳循环与气候的交互关系,并通过森林生态系统的合理经营与管理实现其气候效益最大化。     

短期区域气候预测系统及回报试验

为了提高短期区域气候预测准确率,针对我国大陆区域及周边海域,通过国家气候中心全球海气耦合模式嵌套一个区域大气-海洋耦合模式,建立了一套短期区域气候预测系统。利用该预测系统对2006-2011年逐年7月的气候特征进行了回报试验,对比分析了区域模式相对于全球模式预测高空形势场的差异,评估了预测系统对地面温度和降水的预测能力。试验表明:同化后,初估场质量显著提高;区域模式在预测高空形势场方面优于全球模式;相对于单独的大气模式,海气耦合模式在预测中低空的温度和湿度方面有一定的改善;系统对地面气温和降水均具有一定的预报能力,其中降水预测稍好。     

注意力机制的长短时记忆神经网络航线订座需求预测

针对航线订座需求预测中存在的预测结果不稳定,偏差较大的问题,提出了一种基于注意力机制 的长短时记忆神经网络(Long Short-term Memory Neural Network,LSTM)航线订座需求预测模型。首先, 对采集得到的航线订座需求数据进行数据清洗与指标计算处理,接着,对处理后的指标数据基于注意力机 制做权重分配,然后进行 LSTM 航线订座需求预测模型的建立,从而得到航线订座需求的最终预测结果 值。将训练优化得到的模型应用于国内某航司的航线订座需求预测中,计算出预测结果。实验结果表明, 基于注意力机制的 LSTM 航线订座需求预测模型预测精度较高,以厦门-上海为例,预测结果在与真实值 的对比下,平均绝对误差(Mean Absolute Error,MAE)为 13.1,均方根误差(Root Mean Square Error,RMSE) 为 17.2,相比较于移动平均法,指数平滑法,循环神经网络（Recurrent Neural Network,,RNN）,CNN-LSTM 混合模型有较好的预测效果。     

基于时序分解和SSA-LSTM-Attention模型的尾矿坝位移预测

针对尾矿坝位移变形的动态特性和传统预测模型在进行尾矿坝位移预测中的不足，提出了一种基于时序分解和SSA-LSTM-Attention模型的尾矿坝位移预测方法。首先，通过ICEEMDAN将尾矿坝位移监测数据进行分解为趋势项和波动项；其次，一方面采用高斯拟合方法对趋势项进行拟合预测，另一方面通过灰色关联度进行波动项相关影响因子筛选，并将注意力机制与LSTM相结合，建立了基于注意力机制及LSTM的波动项位移预测模型，同时利用SSA对该模型的超参数寻优；最后，将趋势项与波动项叠加得到总的位移预测值。以攀西地区某尾矿库为例对模型性能进行了验证，并与BP、LSTM、LSTM-Attention等模型进行对比，结果表明，该方法得到的均方根误差、平均绝对误差和确定系数分别0.742mm、0.553mm和0.994，所提方法能较大幅度提高尾矿坝位移变形的预测精度。