基于特征层和二代曲波变换的多模生物特征融合识别方法

针对单模生物特征识别方法在实际应用中存在识别正确率较低的问题,提出了一种基于特征层和二代曲波变换的单样本多模生物特征融合识别方法,其采用了2种生物特征:掌纹特征和人脸特征.将所有归一化后的学习样本图像和测试图像通过组合的快速离散曲波变换和小波变换进行分解.系数经组合和规范化处理后,在特征层实现融合,融合后的特征参数送入K-最近邻分类器进行分类,从而获得最终识别结果.在香港理工大学掌纹数据库和Ljubljana大学人脸数据库上的实验结果表明,所提方法在每个类别仅使用1个学习样本的情况下,其生物特征图像的最佳平均识别正确率达到92.40%,比单模人脸、单模掌纹识别方法的识别率分别提高了35.38%和8.92%.     

一种新的多模态图像集成配准方法

提出一种新的多模态图像集成配准方法。该算法是在对齐度和归一化互信息2种方法的基础上,引入图像边缘检测和均衡化,从而综合利用6种配准算法进行集成多模态图像配准。使用少数服从多数和基于可信度的加权2种集成准则,对红外热像仪图像和相应可见光图像进行实验分析,结果证明该集成配准方法准确性高,鲁棒性强,较之非集成配准方法具有明显的优势。     

音乐视频中医护人际形象的多模态建构 ——以抗疫音乐视频《最美风景线》为例

以视觉语法、评价理论及声音透视和社会距离系统为理论基础,以音乐视频（MV）《最美风景线》为语料,基于MV与观众间人际互动关系的视角看,MV通过视觉、语言和声音的多模态协同,构成声情并茂的作品,成功地建构起医护人员的光辉形象。在视觉模态上,作品通过图像、近景及特写镜头、平视角等方式,刻画医护人员亲切、乐观、坚毅的品格;在语言模态上,主要利用正面的裁决和鉴赏资源,评价医护人员的价值和能力;在声音模态上,通过主体声音和背景声音的配合,突出医护人员的温暖、内敛和担当。     

一种多模特征融合的方面信息情感分类方法

在方面信息情感分类中针对使用循环神经网络编码长距离文本的信息丢失问题,以及使用注意力机制提取情感信息时倾向于关注高频信息偏置问题,提出一种多模特征融合的方面信息情感分类方法,区分单点、多点以及局部三类不同表达模式的情感信息,通过对三类情感信息有侧重的关注、提取与融合,实现各类特征间相互确认与纠错,降低信息丢失与关注偏置问题,达到增强复杂情感表达模式下的方面信息情感分类能力的目的。实验结果表明,使用所提出的方法对三类情感信息进行提取与融合,可以使方面信息情感分类任务在准确率和F1值指标上得到进一步提升。     

多模态医学图像配准算法综述

以多模态医学影像(多序列磁共振(MR)、计算机断层扫描(CT)和X光等模态)为研究对象,对近10 a的多模态医学影像配准相关研究工作进行归纳和分析．首先阐述面向临床应用的多模态医学配准的必要性,分析影像配准的一般流程;然后提出三种归纳角度对现有研究进行分析,重点总结多序列MR、CT和X光等模态之间的五种配准模式、五类常见配准的解剖结构及四类常用的多模态影像配准算法;接着分析七个用于多模态医学影像配准数据集和六个常用的配准评价指标;最后指出多模态医学影像配准算法面临的挑战和未来趋势．     

中文医疗命名实体识别方法研究综述

电子医疗系统中的医疗健康数据为医学研究和医疗实践奠定了强大的数据基础,如何充分利用这些数据进行探索和分析,更好地支持临床决策和大众健康仍然面临着诸多挑战.因此,对中文医疗命名实体识别方法和研究现状进行归纳分析,对于医学研究具有一定的指导意义.本文阐述了医疗命名实体识别任务的定义,分析并提出了中文医疗命名实体识别的研究热...     

融合人体骨架和姿势信息特征的轻量级人体动作识别方法

针对人体动作识别任务中特征值选取不当导致识别率低、使用多模态数据导致训练成本高等问题,提出一种轻量级人体动作识别方法。首先使用OpenPose、PoseNet提取出人体骨架信息,使用BWT69CL传感器提取姿势信息;其次对数据进行预处理、特征融合,对人体动作进行深度学习分类识别;最后,为验证此方法的有效性,在公开数据集WISDM、UCIHAR、HASC和自建的人体动作数据集上进行实验验证,并使用改进的目标引导注意力机制(target-guided attention,TGA)–长短期记忆(long short term memory,LSTM)网络输出最终的分类结果。实验结果表明,在自建数据集下融合姿势和骨架特征达到99.87%准确率,相比于只使用姿势信息特征,识别准确率提高了约5.31个百分点;相比于只使用人体骨架特征,识别准确率提高了约1.87个百分点;在识别时间上相比于只使用姿势信息,识别时间降低了约29.73 s;相比于只使用人体骨架数据,识别时间降低了约9 s。使用该方法能及时有效地反映人体的运动意图,有助于提高人体动作和行为的识别准确率和训练效率。     

互编码器辅助视频的多模态场景分类

为了解决多模态场景分类准确率不高的问题,文中提出一种由互编码器辅助视频的多模态场景分类方法。音频部分首先对输入音频数据进行特征提取并且使用自注意力机制取得关注信息,图像部分首先对视频进行分帧图片提取,然后通过ResNet50网络进行特征提取,随后提取到的双模态信息进入互编码器,互编码器通过提取各个模态隐层特征进行特征融合,融合后的新特征结合attention机制辅助视频特征。在该模型中,互编码器为融合特征的辅助系统。实验基于DCASE2021 Challenge Task 1B数据集进行验证,结果表明互编码器能够提升分类准确率。     

视觉-语言多模态预训练模型前沿进展

近年来,多模态预训练学习在视觉-语言任务上蓬勃发展。大量研究表明,多个模态特征的表征学习预训练有利于视觉-语言下游任务的效果提升。多模态表征预训练旨在采用自监督的学习范式,包括对比学习,掩码自监督等,在大规模的图文相关性数据上进行训练,通过学习模态自身与模态间的知识先验,使模型获得通用的、泛化性较强的视觉表征能力。后BERT时代,本文介绍了视觉多模态领域基于Transformer的相关工作;对主流多模态学习方法的发展脉络进行梳理,分析了不同方法的优势和局限性;总结了多模态预训练的各种监督信号及其作用;概括了现阶段主流的大规模图像-文本数据集;最后简要介绍了几种相关的跨模态预训练下游任务。     

千兆以太网物理层时钟产生/倍频单片集成电路设计

给出了一个基于TSMC 0.18 μm CMOS工艺设计的千兆以太网物理层时钟产生/倍频单片集成电路.芯片采用电荷泵结构的锁相环实现,包括环形压控振荡器、分频器、鉴频鉴相器、电荷泵和环路滤波器等模块,总面积为1.1 mm×0.8 mm.采用1.8 V单电源供电,测得在负载为50 Ω时电路的输出功率大于5 dBm.芯片在PCB板上键合实现锁相环路的闭环测试,测得锁定范围为130 MHz;当环路锁定在1 GHz时,振荡器输出信号的占空比为50.4%,rms抖动为5.4 ps,单边带相位噪声为-124 dBc/Hz@10 MHz.该电路适当调整可应用于千兆以太网IEEE802.3规范 1000BASE-X的物理层发信机设计.