基于文本增强的共注意机制的多模态标签推荐

针对新型社交平台用户发布帖子时通常会使用标签来标记帖子的关键词或话题来提高自己在社交媒体中参与度的问题,使用了层级结构,从单词、短语和句子三个层级来提取文本特征。并且提出文本内容的汇总注意机制,将每个层级的语义内容总结为一个特征向量,然后提出一个文本增强的共注意模型,将每个层级的语义分别与图像模态进行语义融合。同时,考虑到不同用户使用标签的偏好习惯等各不相同,引入一个外部存储单元来记录每个用户的历史标签习惯,计算当前待推荐帖子与历史帖子之间的相似度影响向量,建立用户的个性化模块。在真实数据集上的实验结果表明,文中基于多模态帖子内容理解和个性化模块分析模型相比与其他模型,在精确率、召回率和F₁分数上都有很大提升;提出的两个关于多模态内容理解的注意力机制和用户的个性化建模都对整体推荐效果有显著的贡献。     

基于开源代码的多跳Mesh网络性能研究与优化

在Linux平台下以开源代码构建多跳Mesh网络实验床,对其传输带宽随无线跳数的增加而急剧下降的关键问题展开深入分析和实验研究。实验结果表明,采用提出的优化方法构建的增强型多模Mesh网络,其带宽下降问题得到了根本上的解决,并且回传链路带宽提高到60Mbp/s以上。     

融合多模态数据的自闭症谱系障碍儿童智能化识别及其有效性

自闭症发病率呈逐年上升趋势,早期发现和及时干预可以显著改善预后,能够很大程度上改善自闭症儿童的语言能力、认知能力以及行为习惯,因此,自闭症的早期识别工作意义重大.传统识别方法能够获得较好的识别结果,但过程耗时且高度依赖于专业人员的操作,而已有的智能化识别方法的识别精度难以满足应用需求.本研究探索了融合多模态数据的自闭症儿童智能化识别方法,通过对行为数据和认知数据的分析发现,自闭症儿童和典型发展儿童在眼动、面部表情、认知得分和认知反应时数据上存在显著性差异.本研究利用数据差异性分析进行特征选择,构建了融合多模态数据的自闭症儿童识别框架,该框架根据数据来源和时间同步性将数据进行分层融合,进而得到最终的识别结果.同时,将融合多模态数据的自闭症儿童智能化识别方法以及各单模态识别方法分别与传统方法识别结果进行一致性检验,验证融合多模态数据识别方法的泛化能力和有效性.结果表明,与各单模态识别方法相比,融合多模态数据的自闭症谱系障碍儿童识别与传统方法识别结果一致性程度最高,识别正确率与传统识别方法的正确率最接近,是一种有效的自闭症儿童智能化识别方法.     

基于多模态共享网络的自监督语音-人脸跨模态关联学习方法

现有的语音-人脸跨模态关联学习方法在语义关联和监督信息方面仍然面临挑战,尚未充分考虑语音与人脸之间的语义信息交互。为解决这些问题,提出一种基于多模态共享网络的自监督关联学习方法。首先,将语音和人脸模态的特征映射到单位球面,构建一个公共的特征空间;接着,通过多模态共享网络的残差块来挖掘复杂的非线性数据关系,并利用其中权重共享的全连接层来增强语音与人脸特征向量之间的关联性;最后,使用K均值聚类算法生成的伪标签作为监督信号来指导度量学习,从而完成4种跨模态关联学习任务。实验结果表明,本文提出的方法在语音-人脸跨模态验证、匹配和检索任务上均取得了良好的效果,多项评价指标相较于现有基线方法提升1%～4%的准确率。     

基于UGC数据的旅游数据挖掘研究进展

随着互联网和社交媒体的蓬勃发展,用户生成内容(User Generated Content, UGC)数据逐渐成为旅游大数据的重要组成部分。UGC数据能够体现游客旅游行为,数据类型丰富、真实性强、噪声大。本文回顾了过去几年旅游UGC数据研究的发展,分别从文本、照片、多模态3种数据类型角度进行综述,总结了近年来旅游UGC数据挖掘研究取得的成果,并探讨了未来研究的方向。     

"文本为主"的多模态特征融合的新闻视频分类算法

视频分类算法通过融合多模态特征提高分类性能.大多数多模态特征融合算法采用统一模式处理不同模态特征,忽略文本与声音/图像特征在视频分类能力和可靠性方面的差异.该文提出一种新闻视频分类算法,采用文本为主,声音/图像为辅的特征融合模式.该算法充分考虑文本特征在内容分类方面的高可靠性,并在适当情况下,辅以声音/图像信息为补充.对10类新闻视频进行分类实验,并与其他两种分类算法对比,表明在提取相同的底层特征情况下,该文算法的平均分类性能最佳.     

优化设计多模战斗部球缺型药型罩结构

运用ANSYS/LS-DYNA仿真软件,采用中心点起爆和环形起爆的方式,对多模战斗部球缺型药型罩进行结构优化设计。选取球缺型药型罩结构参数曲率半径和壁厚仿真进行仿真计算,并对计算结果进行了Matlab三维作图分析。找出了形成多模毁伤元EFP和JPC最优区间所对应的药型罩结构参数范围,其中药型罩曲率半径取0.7～0.9倍装药口径。药型罩壁厚取0.40～0.56倍装药口径。进行了多模毁伤元成型试验研究,试验结果与仿真结果较一致,为今后进一步研究多模战斗部提供了参考依据。     

选择性搜索和多深度学习模型融合的目标跟踪

提出一种基于深度学习的多模型(卷积神经网络和卷积深信度网络)融合目标跟踪算法.该算法在提取候选粒子方面,使用选择性搜索和粒子滤波的方法.CVPR2013跟踪评价指标(50个视频序列、30个跟踪算法)验证了:该算法在跟踪中能有效地缓解目标物体由于遮挡、光照变化和尺度变化等因素造成的跟踪丢失情况的发生.     

Minkowski广义距离与多模态图像配准

根据图像灰度的联合概率分布函数与图像相似程度之间的变化规律,分析了Shannon互信息与Kullback-Leibler距离之间的关系,利用变量间的不等式关系理论,提出基于Minkowski不等式的广义距离度量,并构造了基于这一距离的多模态图像配准新测度.新的配准测度不再要求概率分布必须满足连续性的要求,实验中使用MR和PET医学图像进行了实验分析.结果显示,基于Minkowski距离的新配准测度比传统的信息论测度具有更强的噪声鲁棒性,用乘方运算代替了对数运算,数学表达式更简单,并省去了除法运算,在算法上也更容易实现.     

基于高阶模干涉的双参量同时测量传感器的实验研究

提出一种单模-多模-单模(SMS)与光纤布拉格光栅(FBG)级联的传感结构,利用了多模光纤内的高阶模干涉原理实现传感测量.本文采用了同长度芯径分别为50μm和60μm的多模光纤.实验结果显示,在SMS结构中,芯径50 μm和60μm的温度灵敏度分别为0.095nm/℃和0.127nm/℃,采用大芯径多模光纤略有提高SMS结构的温度灵敏度;折射率灵敏度分别为61.96nm/RIU和128.11nm/RIU,采用大芯径多模光纤大大提高了SMS结构的折射率灵敏度,该传感器能够用于温度和折射率的同时测量.