一种基于自适应搜索的多模态多目标优化算法

为了解决目前基于分解的多模态多目标优化算法存在种群搜索能力不足，子种群中存在无用解和距离度量不具有普适性等问题，提出了一种基于自适应搜索的多模态多目标优化算法MOEA/D-AS.首先，该方法通过减少平均子种群的个体数量，进而增加参考向量的数量.其次，根据子种群当前状态自适应分配子种群的个体数量.最后，使用引入了局部种群信息的清除距离作为维护子种群的依据.将提出的算法与4种算法在2019年CEC多模态多目标测试问题和大规模多模态多目标测试问题上进行对比实验，实验结果表明，提出的算法可以有效解决多模态多目标优化问题.     

基于偏振图像与粗糙深度图的形状重建

首先使用双边滤波法对粗糙深度图作平滑处理，该方法在保持边缘细节的同时可以很好地去噪；然后针对偏振法线的歧义问题，以深度信息作为先验条件，采用自定义阈值分割方法校正；最后构造以深度约束为拟合项、偏振法线约束为光滑项的罚函数方法，并利用最小二乘法进行计算，以实现融合重建.选取4幅不同偏振角度的偏振图像与单幅粗糙深度图进行实验，结果表明，相对于单一模态，深度与偏振的多模态融合能恢复更好的表面细节，达到更优的几何形状效果.     

城市群多模式交通网络结构韧性分析——以关中平原城市群为例

为分析城市群多模式交通网络应对攻击时的韧性变化特征，该文基于复杂网络理论和韧性城市理论，构建了考虑吸收能力、缓冲能力和可恢复能力3个维度的网络结构韧性评估模型，并通过空间向量模计算网络结构韧性值。基于关中平原城市群城际公路、铁路客运数据构建了城市群客运网络，并借助空间网络分析工具ArcGis和Ucinet探讨城市群多模式交通网络的拓扑特征；考虑节点位置及其与周边地区交通的联系，提出了基于节点重要度的典型节点选取方法。结果表明：典型节点受到攻击后，网络的缓冲能力都处于较低状态，尤其是蔡家坡站点失效后，网络缓冲能力下降到0.388 9;节点度大的站点失效后，网络恢复到正常状态的能力差；普铁站和高铁站失效后对网络结构韧性的影响远大于公路客运站；结合典型节点特征和模拟结果，可针对性地提出网络结构韧性提升建议。     

基于卷积脉冲神经网络的故障诊断方法研究

深度学习为轴承故障诊断的智能化发展提供了新思路。本文从类脑计算角度出发，设计一种对轴承数据敏感的脉冲神经网络来完成故障数据分类任务。首先采用信号分解的方式提高原始信号特征提取效果，然后对故障信号进行脉冲编码，并采用多分量混合输入方式填充时间步作为神经网络的输入，最后采用卷积脉冲神经网络(SCNN)进行故障分类。为了验证该模型的分类效果，采用西储大学轴承数据集进行验证，分类准确率达到了99.78%。结果表明该轴承数据编码方案可以充分发挥脉冲神经网络时空动力学特征，且该脉冲神经网络模型在轴承故障诊断问题上具有高精度、高效率的特性。本研究有利于促进脉冲神经网络在故障诊断领域的研究和应用。     

基于多模注意力机制的密集型视频描述

为了解决密集型视频描述(dense video captioning, DVC)任务中视频特征利用不充分，视频定位分段不准确，语义描述效果不丰富的问题，采用多模注意力机制的密集型视频描述方法，提取视频中的视觉特征、音频特征和语音特征.通过多模注意力机制，在编码器中计算不同模态视频帧特征间的关联程度，在解码器中计算描述词序列特征与编码器输出的多模态视频帧特征间的关联程度，并将编码器、解码器输出特征分别作用于视频定位分段模型和语义描述模型获得视频分段和分段描述.提出的方法在ActivityNet Captions数据集上进行了理论分析和实验验证，其中F1-score达到60.09,METEOR指标达到8.78.该方法有效提高了视频定位分段和语义描述的准确性.     

智慧园区环境下的多模态多核学习身份识别算法研究

智慧园区的建设推动着企业与城市的发展，传统的园区管理方式已不再适用于产业融合创新的智慧园区。以曹家滩园区为例，设计智慧园区平台总体框架，针对园区中身份识别存在识别环境差、效率低、准确率低等问题，提出一种基于多模态多核学习的身份识别算法。所提算法将视频数据中的数据分为图像、音频，并采集个人信息的文本，并将三种模态的信息输入同一样本空间中，通过引入间隔约束的多核学习算法，保留不同模态的差异性和相似性，并进行特征融合与决策融合，最终采用分类器与评分机制输出身份识别结果。通过公开的视频数据集与曹家滩园区数据集进行实验，实验结果表明本文所提算法最高准确率达到97.2%，与传统算法相比有较大优势。     

档案管理中文本数据的增量多模态聚类方法

随着现代档案管理数据量的不断增长，有效地对档案文本进行聚类划分能够提升档案分类和检索的效率。文中提出2种增量多模态文本数据聚类方法，通过对文本内容进行多视角分析，融合挖掘文本的潜在主题特征，提升文本聚类的准确性。此外，设计文本聚类多模态增量学习模型，提升海量、动态文本划分的效率。在文本数据集上的实验结果表明，文中提出的增量多模态文本聚类方法优于单模态和多模态聚类算法，能够对文本数据进行有效划分。     

基于多模态的急性肾衰竭预测模型

急性肾衰竭是一种发病率较高的临床疾病,尽早识别潜在患者有助于医生对其进行医疗干预,降低发病率和死亡率.近年来,依靠电子健康病历去预测患者潜在的健康风险逐渐受到关注.大多数模型通过聚合数据或者填充缺失值的方式处理人体生理指标数据中存在的稀疏性和不规则性问题,忽视了缺失信息隐含的患者健康状态.此外,现有的急性肾衰竭预测模型并没有考虑各种模态的数据特点和模态之间的相关性.为了解决以上问题,提出了基于多模态的急性肾衰竭预测模型.该模型考虑了人体生理指标数据、疾病数据和人口统计学数据.设计了新的基于掩码和时间差的LSTM(long short term memory)网络去学习各个生理指标的时间间隔和缺失信息,捕获指标的数值变化和检测频率变化,引入了多头自注意力机制促进各模态表征的相互学习.在真实的数据集上进行了急性肾衰竭预测问题和死亡风险预测问题的实验,证明了所提出模型的有效性和合理性.     

风险扩散下城市群多模式交通网络的韧性演化

深入分析风险扩散阶段城市群多模式交通网络的动态韧性演化特征，有助于提高城市群风险抵御能力。本研究基于复杂网络理论及其扩展理论，以城市群公路、铁路、航空网络为基础，构建城市群多模式多层次交通网络模型，将节点度、节点介数与可达性相匹配，分析其风险扩散下的静态拓扑特征；以级联失效动力学理论为基础，考虑不同阶段节点初始风险水平、风险预警阈值与风险抵御能力，根据影响风险扩散的节点与连边测度指标，构建风险动态扩散模型；考虑风险冲击下结构、功能变化特征，构建网络结构、功能韧性测度模型，并通过其耦合值表征多模式交通网络韧性性能。以关中平原城市群多模式交通网络为研究对象，运用Python Networkx和Matlab网络分析工具，就不同的风险扩散方式、网络可靠性、冗余性、鲁棒性和节点风险处理能力系数，对风险扩散阶段城市群多模式交通网络的动态韧性演化进行仿真分析。结果表明：模型结果与实际相符，提升网络可靠性、冗余性、鲁棒性和节点风险处理能力，能有效增强网络韧性；相较于基于节点测度的风险扩散方式，基于连边测度的风险扩散方式对韧性性能影响更大，说明线路层次等级分布相较于数量对城市群多模式交通网络的韧性性能影...