基于三次精调的人脸分割方法

针对人脸分割的精度问题,提出了融合网络深层特征和浅层特征的新结构,三次精调人脸检测框,提高人脸分割的精确度.新结构结合通道注意力与空间注意力机制,利用深度分离卷积,为每个通道特征提供各自对应的注意力权重,充分利用深层语义信息与浅层定位信息,为精确分割提供特征信息,三次精调为分割提供准确的检测结果.实验结果相比Mask ...     

SFSR-Age:一种基于人脸强语义的年龄识别算法

针对因光照、拍摄角度及图片质量等因素导致的经典深度学习算法难以有效提取人脸特征、人物身份识别准确率难以达到理想精度的问题,提出一种基于人脸强语义的年龄识别算法.首先,通过注意力矩阵增强人脸区域的特征权重,达到提取特征区域的目的;其次,使用级联双向长短期记忆(Bi-LSTM)网络学习时序帧之间的特征依赖关系,弥补部分特征缺失对识别精度的影响.在人脸数据集IMDB-WIKI和数据集Adience上进行测试,该算法的年龄识别准确率分别达到78.34%和77.89%.实验结果表明,相比于其他基于深度学习算法的方法,该算法在基于图片数据集的人物年龄识别任务上具有更高的准确率.     

基于双重自注意力机制的人脸图像修复

人脸图像修复旨在修复输入人脸图像中的缺失区域,生成令人满意的高质量修复结果.然而当存在大面积缺失时,直接修复缺失人脸图像十分困难,此时修复网络的全局上下文信息感知能力是影响修复结果的关键.鉴于此,本文提出了软硬注意力相结合的双重自注意力模块.该模块通过全局相似度计算来获得软硬两种注意力特征,之后对两种注意力特征进行自适应融合,进而提高修复网络对全局上下文信息的感知能力.此外,本文进一步提出了多尺度生成对抗网络以加强对修复结果的监督,促使修复网络生成更高质量的修复结果.实验结果表明,本文方法在定量和定性评测上均优于五种先进的对比方法.     

融合边缘检测的 3D 点云语义分割方法研究

针对点云分割中分割目标不明确,边缘不清晰,全局特征与边缘特征未能有效融合等问题,提出 了一种融合边缘检测的 3D 点云语义分割算法。 首先,通过 3D 点云语义分割网络对点云数据进行初步提取 区域内的全局语义特征;然后,采用引入了注意力机制的语义边缘检测网络,能够更好地对点云数据中的物 体进行特征提取增强,抑制非边缘信息的产生,得到了具有丰富的语义信息的边缘特征;最后,通过融合模块 将属于同一物体的语义特征融合起来进行分割细化处理,使得分割目标更精确;此外,使用了双重语义损失 函数,使网络产生具有更好边界的语义分割结果。 通过搭建实验平台和使用 S3DIS 标准数据集进行测试,改 进后的算法在数据集上的平均交互比为 70. 21%,在精度上较 KPConv 语义分割算法有所提高。 实验结果表 明:该算法能够有效改善物体边界分割不清晰、边缘信息模糊等问题,总体分割性能良好。     

联合核预测和特征推理的渐进式壁画修复算法

针对现存深度模型修复壁画时,未兼顾像素级特征与语义级特征,而导致纹理精细度欠缺、结构扭曲等问题,提出一种联合核预测和特征推理的渐进式壁画修复算法.首先,设计区域渐进模块,通过部分卷积实现壁画特征渐进式映射.然后,提出双分支修复模块,其中核预测卷积分支实现破损区域的像素级修复;而语义特征推理分支中引入门控可变形卷积,并结合语义一致性注意力机制实现特征推理,完成破损壁画的语义级修复.最后,将双分支修复结果融合输出,最大限度地减少重构误差,提升修复精度.通过对敦煌壁画进行数字化修复实验,结果表明所提方法修复后的壁画具备较好的结构纹理特征,在评价指标上优于比较算法.     

基于自适应人脸切割的三维人脸识别算法

为克服表情变化对人脸识别的影响,提出了一种基于自适应人脸切割的三维人脸识别算法.首先,采用一种自动预处理技术来去除离群点、填补孔洞和归一化姿态,以提高三维人脸数据的质量;其次,通过简化meshSIFT特征的规范化方向并加入形状直径函数描述符,讨论了方向分配和特征描述符的设计问题,改进了meshSIFT特征;最后,通过运用字典构造、压缩与自适应区域切割稀疏分类,提出了一种基于多任务稀疏表示分类最小残差和的自适应人脸切割算法.FRGC v2.0人脸数据库上的实验分析结果表明,所提算法对三维人脸识别具有较高的识别率.     

基于粒子滤波算法的自适应人脸跟踪

当人脸旋转和尺寸变化时,传统的粒子滤波算法不能准确跟踪到人脸.针对这一问题,本文提出了在粒子滤波框架下自适应调整目标跟踪窗口和自适应更新模板的方法.该方法通过计算运动目标区域内粒子到目标中心点的平均距离来自适应调整目标跟踪窗口;且对目标特征模板进行自适应更新.实验结果表明,本算法在人脸旋转和尺寸变化的情况下能够提升跟踪的准确度和精度.     

基于双重匹配注意力网络的观点型阅读理解

提出一种基于双重匹配注意力网络的方法.先用动态匹配机制迭代综合获取全局观点信息,同时利用多维度匹配机制在不同特征空间上计算全局语义信息,然后交互式多路注意力机制通过两路注意力之间的交互计算对上述全局的观点与语义信息进行融合,最后与选项表示结合预测答案的观点倾向.在观点型阅读理解数据集ReCO和Dureader上面的实验表明,该方法相对于基准模型在准确率上提升了1.18%和0.84%,在加权宏F1上提升了1.16%和0.75%.     

基于关系感知双重注意力融合的视觉问答技术

传统视觉问答技术仅采用简单的位置注意力,缺乏语义注意力,从而引起问题推理错误.本文采用双重注意力机制从图像获取位置信息和语义信息,以外积形式进行融合,获得文本也采用双重注意力融合实体和对应关系的信息,帮助理解问题.双重注意力动态方式可以实现关系融合、动态学习,改变传统静态学习方式.以多标签分类器实现答案推理,减少传统二...     

基于句法结构的神经网络复述识别模型

为解决已有复述语义计算方法未考虑句法结构的问题, 提出基于句法结构的神经网络复述识别模型, 设计基于树结构的神经网络模型进行语义组合计算, 使得语义表示从词语级扩展到短语级。进一步地, 提出基于短语级语义表示的句法树对齐机制, 利用跨句子注意力机制提取特征。最后, 设计自注意力机制来增强语义表示, 从而捕获全局上下文信息。在公开英语复述识别数据集Quora上进行评测, 实验结果显示, 复述识别性能得到改进, 达到89.3%的精度, 证明了提出的基于句法结构的语义组合计算方法以及基于短语级语义表示的跨句子注意力机制和自注意力机制在改进复述识别性能方面的有效性。     

基于轻量化网络的眼部特征分割方法

针对高分辨率眼部图像的瞳孔、虹膜特征快速识别与检测问题,提出了一种轻量化语义分割网络DIA-UNet （double input attention UNet）.它采用对称双编码结构同步获取眼部灰度图及其轮廓图特征,并通过双注意力机制实现了解码端的特征筛选,将深层融合特征作为语义分割输出.在CASIA-Iris-Interval和高分辨率瞳孔数据集上测试结果表明,与其他轻量化语义分割网络相比,本文提出的DIA-UNet在保证虹膜、瞳孔分割准确率的同时网络参数个数仅有0.076 Million,处理速度高达123.5 FPS.      

基于混合神经网络的中文隐式情感分析

隐式情感分析是情感计算的重要组成部分,尤其是基于深度学习的情感分析近年来成为了研究热点.本文利用卷积神经网络对文本进行特征提取,结合长短期记忆网络(LSTM)结构提取上下文信息,并且在网络中加入注意力机制,构建一种新型混合神经网络模型,实现对文本隐式情感的分析.混合神经网络模型分别从单词级和句子级的层次结构中提取更有意义的句子语义和结构等隐藏特征,通过注意力机制关注情绪贡献率较大的特征.该模型在公开的隐式情感数据集上分类准确率达到了77%.隐式情感分析的研究可以更全面地提高文本情感分析效果,进一步推动文本情感分析在知识嵌入、文本表示学习、用户建模和自然语言等领域的应用.     

基于层次注意力机制的垃圾用户检测模型

目前基于网络的垃圾用户检测方法只考虑了简单社会关系,缺乏对更多复杂社会语义关系的利用,难以达到最优性能.针对这一挑战,提出一种基于层次注意力机制的垃圾用户检测模型(HAM-SD).模型首先使用异质信息网络对社交媒体进行建模,挖掘丰富的语义与结构信息,接着利用节点级注意力层聚合元路径邻居增强节点表示,同时利用自适应层级聚合模块选择不同层级特征提升表征能力,然后通过语义级注意力层融合不同元路径下的节点表示,最后带入分类检测模块实现垃圾用户检测.在公开数据集上的实验结果表明该模型能够有效检测垃圾用户,并在不平衡数据分布时保持较强的稳定性.     

基于改进YOLOv4颈部优化网络的安全帽佩戴检测方法

针对安全帽佩戴检测时易受复杂背景干扰，解决YOLOv4网络检测速度慢、内存消耗大、计算复杂度高、对硬件性能要求较高等问题，引入改进YOLOv4算法优化安全帽佩戴检测方法。引入MobileNet网络轻量化YOLOv4、跨越模块特征融合，实现高层语义特征和低层语义特征有效融合。针对图像中小目标分辨率低，信息特征少，多尺度并存，导致在连续卷积过程中易丢失特征信息等问题，采用改进特征金字塔FPN和注意力机制等颈部优化策略聚焦目标信息，弱化安全帽检测时背景信息的干扰。仿真结果表明，基于改进的YOLOv4颈部优化网络安全帽佩戴检测算法在CPU平台下的检测速度为34.28 FPS，是基础YOLOv4网络的16倍，检测精度提升了4.21%，检测速度与检测精度达到平衡。     

基于三通道注意力网络的番茄叶部病害识别

对番茄病害进行识别,近年来一直是植物病害预防的研究热点。由于受到复杂背景干扰,番茄叶部病害识别准确率不高,针对这一问题,提出一种基于三通道注意力机制网络的番茄叶部病害识别方法。该网络基于ResNeXt50残差网络,将注意力模块嵌入至残差网络的ResNeXt模块中可以并行提取目标的通道特征和空间特征,获取有效的语义信息。训练阶段通过设计双损失函数和数据增强进一步提升分类准确度,并通过迁移学习网络预训练参数的方式提高网络训练效率。实验结果表明,使用双损失函数和数据增强后,基于三通道注意力网络的番茄病害识别算法在测试集上的平均识别准确率达98.4%,相比于传统机器学习方法和其他神经网络方法的准确率更高,检测速度满足实时性,Kappa系数为0.96,满足叶部病害识别的高精度要求。该方法能够有效地对10种番茄叶部病害进行识别,为植物病害识别提供了一种新的思路。     

基于预训练模型和混合神经网络的医疗实体关系抽取

医疗文本具有实体密度高、句式冗长等特点,简单的神经网络方法不能很好地捕获其语义特征,因此提出一种基于预训练模型的混合神经网络方法。首先使用预训练模型获取动态词向量,并提取实体标记特征;然后通过双向长短期记忆网络获取医疗文本的上下文特征,同时使用卷积神经网络获取文本的局部特征;再使用注意力机制对序列特征进行加权,获取文本全局语义特征;最后将实体标记特征与全局语义特征融合,并通过分类器得到抽取结果。在医疗领域数据集上的实体关系抽取实验结果表明,新提出的混合神经网络模型的性能比主流模型均有提升,说明这种多特征融合的方式可以提升实体关系抽取的效果。     

无监督数据集子类划分的人脸口罩佩戴识别算法

人脸口罩佩戴识别成为疫情防控的一项重要手段,而目前口罩佩戴检测主要还是通过人工监测,基于深度学习的口罩佩戴检测系统较少,且存在误检、漏检和检测速度慢等问题。针对口罩佩戴检测中不规范佩戴口罩数据集较少,和对检测精度和检测速度要求较高的实际应用需求,从数据集和网络两方面改进人脸口罩佩戴检测方法:通过在无监督自分类方法中引入标签矫正算法对数据集进行子类划分,减少数据集类内差异,提高网络检测精度;调整目标检测网络结构,去除小尺度检测的网络层,提高网络检测速度;引入注意力机制模块,增强网络对细节特征的提取能力,提高网络检测精度。口罩佩戴情况的平均检测精度从79.34%提升到93.12%,检测速度提高了6.4%,设计的网络结构能够满足实际应用的需求。     

基于多模态共享网络的自监督语音-人脸跨模态关联学习方法

现有的语音-人脸跨模态关联学习方法在语义关联和监督信息方面仍然面临挑战,尚未充分考虑语音与人脸之间的语义信息交互。为解决这些问题,提出一种基于多模态共享网络的自监督关联学习方法。首先,将语音和人脸模态的特征映射到单位球面,构建一个公共的特征空间;接着,通过多模态共享网络的残差块来挖掘复杂的非线性数据关系,并利用其中权重共享的全连接层来增强语音与人脸特征向量之间的关联性;最后,使用K均值聚类算法生成的伪标签作为监督信号来指导度量学习,从而完成4种跨模态关联学习任务。实验结果表明,本文提出的方法在语音-人脸跨模态验证、匹配和检索任务上均取得了良好的效果,多项评价指标相较于现有基线方法提升1%～4%的准确率。