基于Transformer网络多模态融合的密集视频描述方法

针对目前的密集视频描述模型大多使用两阶段的方法存在效率较低、忽略音频及语义信息,描述结果不全面的问题。提出了一种基于Transformer网络多模态和语义信息融合的密集视频描述方法。提取自适应R(2+1)D网络提取视觉特征,设计了语义探测器生成语义信息,加入音频特征进行补充,建立了多尺度可变形注意力模块,应用并行的预测头,加快模型收敛速度,提高模型精度。实验结果表明：模型在2个基准数据集上性能均有很好的表现,评价指标BLEU4上达到了2.17。     

基于低秩双线性池化注意力网络的舰船目标识别

针对多模态舰船图像融合识别质量不高等问题，构建了一种端到端的低秩双线性池化注意力网络。首先对各模态原始特征向量基于跨模类别中心进行注意力加权重构，使不同模态特征更好地关注公共类别信息；然后采用双线性池化捕获不同模态图像的交互信息，并引入权重低秩分解降低网络参数规模；最后依靠特征级联实现模态信息的交互与互补，并设计联合损失提升网络跨模态融合识别效果。实验结果表明，相比现有融合方法，所提方法可有效提升多模态遥感舰船图像的融合识别效果，在公开的遥感舰船数据集上取得了较高的识别准确率。     

基于深度特征融合的SAR图像与AIS信息关联方法

星载合成孔径雷达(synthetic aperture radar, SAR)和自动识别系统(automatic identification system, AIS)都可以获取到探测目标的相关信息，将两者获取的信息进行关联融合，有益于实现高效的海上侦察监视。由于数据之间存在的异构性，传统方法多依赖人工特征建立SAR图像与AIS信息的关联关系，但这些方法存在精度差、效率低等缺点。本文提出了一种基于深度特征融合的SAR图像与AIS信息关联方法，针对两种模态数据的特点分别设计了对应的特征学习网络获取单模态特征表示，进一步融合不同模态的特征信息以增强跨模态信息间的语义相关性，然后通过设计的关联学习目标函数进行跨模态特征之间关联学习。在构建的数据集上验证表明，所提方法关联精度高、适应性强，验证了所提数据集和方法的有效性。     

用于时间序列数据建模的多模态模糊认知图

针对单一模型难以准确反映时间序列多种变化模态的问题,提出了一种基于模糊认知图的时间序列数据多模态建模方法.该方法使用随机自助法选取多个子序列,以包含各种变化模态.在各个子序列上分别建立子模糊认知图模型.使用粒计算方法对子模型进行有效融合;并分析了不同权重策略融合的性能.所建立的模型不仅可以对时间序列数据进行数值及区间预...     

基于视频元数据的视频增强方法及应用

提出了一种基于视频元数据的视频增强方法,并将其应用于数字博物馆的虚拟陈展。为实现上述功能,首先提出了一种基于MPEG-7的视频元数据方案,利用视频元数据对视频对象的语义信息、轮廓与色彩等底层形象信息进行描述,并记录为视频元数据脚本。进行视频增强回放时,将上述脚本与视频本身同时发布到展示前台。在展示前台,通过专用播放器对视频元数据进行解析,根据解析内容对视频进行实时增强。上述方法不仅可以实现视频内容与语义信息的集成播放,提高视频的交互性,而且支持基于内容的交互应用。最后,基于上述方法实现了一个用于数字博物馆展品视频交互展示的原型系统。     

在接收端实现的媒体同步控制算法

提出一种在接收端实现的媒体同步控制算法。算法分别根据音频和视频播放缓冲区的占用水平,在不影响音频播放质量的情况下调整音频帧的长度,实现音频流媒体内同步;通过改变视频流的播放帧率达到视频流媒体内同步。并以音频流为主媒体流,视频流为从媒体流,比较最近播放的音频帧和视频帧的播放时间标签,调整视频帧的播放持续时间来取得音视频媒体间同步。实验结果表明,在不增加播放时延的情况下,该算法可以实现单个媒体流的媒体内同步,并达到音视频媒体间同步。     

基于模糊加权的多模态切换控制器设计与仿真

针对多模态切换控制问题,提出并设计了基于模糊加权的模态切换控制器。对无人直升机的飞行模态切换实例进行研究,仿真结果说明该方法可以软化模态切换过程,提高暂态响应特性,并且具有一定的鲁棒性。     

基于Gestalt优化的红外视频时空显著性检测

针对红外视频时空显著性检测问题,提出一种基于Gestalt 优化的方法。设计基于多尺度局部稀疏表示和局部对比度测量的方法计算红外视频的空间显著性;为提取视频中显著性目标的运动信息, 设计基于多帧对称差分的算法计算时间显著性;为得到初始时空显著图, 设计基于交互一致性的融合策略将空间显著图和时间显著图进行自适应融合; 提出基于Gestalt 优化的最终时空显著图计算方法。实验结果表明,提出算法能有效检测红外视频的时空显著性。     

多模态公文的结构知识抽取与组织研究

针对目前基于三元组知识构建的知识图谱结构逻辑性弱、难以形成知识体系的问题, 以公文应用背景为牵引, 提出多模态知识结构要素抽取模型, 构建多模态公文文档数据集GovDoc-CN, 在文本和图像两个模态对文档中包括各级标题、摘要、作者、成文时间、文档编号等在内的知识结构要素进行抽取。设计文档结构树模型对抽取的文档知识结构要素进行组织, 并构建结构化图网络实现文档的组织和管理。实验证明, 相较于单一模态的抽取模型, 多模态知识结构要素抽取模型取得了明显的效果提升, 文档结构树模型和基于文档结构树模型构建的结构化图网络为文档知识的组织与管理提供了一种新途径, 具有重要的应用价值。     

结构自适应的视频通信误码图像恢复方法研究

提出视频通信差错控制中基于空域纹理匹配和边缘重建的图像恢复方法。该方法将视频通信中受损块进行简单分类,然后对受损的纹理块、边缘块和平坦块采用“分而治之”的策略:①对受损纹理块采用最佳邻域匹配算法,在图像中寻找其相似块,并用该相似块取代坏块;②对受损边缘块,利用受损块周围的边缘信息,通过边缘检测和合适的边缘勾连准则,确定应该勾连的边缘对象,然后调整拟合与插值的参数来重建受损块中存在的边缘信息;③对平坦块,采取多方向线性插值进行恢复。仿真实验结果表明:该方法能适应于不同种类的图像、计算量适中,而且在保持边缘的连续性的同时恢复图像的感觉质量较高。     

Internet-based event synchronization communication driven telerobotics

1.INTRODUCTION Teleoperationmakeshumansensetoremotesiteand byitmanyapplicationcanbeappliedintoreality.A longdistanceteleoperationmayhavemuchmore meaningtopeople.Throughspace,sea,andnet work,teleoperationshowsitscharm.Whenrobotis inducedinteleoperationastheexecutoritisnamedas telerobotics.NowInternetisprevalentintheworld,overitconstructingateleroboticshasmuchmoread vantagethanothers,likeconstructingeasily,cheap costandmaintenanceconvenientlyetc.Butthereare alsosomedrawbacksinit,liketimede…     

基于局部二元图的视频对象阴影检测方法

针对在视频对象分割时,运动投影常被误分为视频对象,给出一种新的视频阴影检测方法,该算法基于在灰度图像中阴影区域和背景相应位置具有相同纹理这一事实,其中利用自适应高斯混合模型进行背景建模,利用局部二元图(local binary patterns,LBP)来表征纹理。首先,进行基于自适应高斯混合模型的背景提取,获得包含运动投影的前景分割,分割时加入了LBP纹理相似性判断,减少了分割出的目标内的孔洞提高了分割的精确度。然后利用阴影区域和已获取背景相应位置的LBP纹理相似性,可较好的对视频阴影进行检测。通过实验,获得了不错的阴影检测实验结果,可较好地应用于运动目标检测分割及跟踪等领域。     

一种MPEG2媒体同步控制算法

针对MPEG2软件解码器,提出了一种媒体同步控制算法。该算法无需调整解码器的本地系统时钟,而是以音频流为主媒体流,视频流为从媒体流,音频的播放速率保持不变,利用基于相同时间基点的媒体单元的播放时间标签,调整视频的播放帧率来实现媒体同步。同步调整后视频的同步比例由调整前的54.84%提高到99.52%,音视频的同步比例由调整前的5.07%提高到98.36%。结果表明,该算法可以实现解码器的媒体同步,满足用户提出的感知服务质量要求。     

基于超密集特征金字塔网络的SAR图像舰船检测

针对星载合成孔径雷达(synthetic aperture radar, SAR)图像舰船目标检测困难的问题,提出了一种基于超密集特征金字塔网络的检测算法。首先,利用残差神经网络提取原始图像特征,构建特征图。其次,跨尺度连接多个特征层获取超密集特征金字塔,建立多尺度的高层语义特征映射,增强特征传播和重用。然后，再利用区域建议网络提取每层金字塔的候选区域输入检测网络。最后,通过融合候选区域及其周边上下文信息,将检测网络注意力集中至海域以抑制虚警,并为分类器计算置信度和边框回归提供补充信息。多组仿真实验证明,所提网络框架设定合理且检测性能优越。     

基于超密集特征金字塔网络的SAR图像舰船检测

针对星载合成孔径雷达(synthetic aperture radar, SAR)图像舰船目标检测困难的问题,提出了一种基于超密集特征金字塔网络的检测算法。首先,利用残差神经网络提取原始图像特征,构建特征图。其次,跨尺度连接多个特征层获取超密集特征金字塔,建立多尺度的高层语义特征映射,增强特征传播和重用。然后,再利用区域建议网络提取每层金字塔的候选区域输入检测网络。最后,通过融合候选区域及其周边上下文信息,将检测网络注意力集中至海域以抑制虚警,并为分类器计算置信度和边框回归提供补充信息。多组仿真实验证明,所提网络框架设定合理且检测性能优越。     

一种视频对象生成方法的研究与实现

提出了一种视频对象的自动生成方法。首先对当前帧进行全局运动估计和补偿 ,并和上一帧进行差分运算 ,然后采用模糊分类器自动检测出运动区域 ,再结合边界特征形成视频对象的二进制模型并生成视频对象。实验结果表明 ,该方法能有效地生成视频对象 ,具有较强的鲁棒性     

基于鲁棒统计量的运动检测与目标跟踪策略

提出了一种基于鲁棒统计量的运动检测方法。该方法通过对全局运动的鲁棒估计和对残差进行假设检验的方法来检测运动物体区域。为了消除遮挡效应的影响,提高算法的精度,在检测过程中,利用双向运动估计的方法来对残差进行归一化。在此基础上,提出了一种鲁棒主动轮廓模型,用于跟踪运动物体轮廓,并采用LevelSet方法对该模型进行求解。实际视频的实验结果表明,该方法能够可靠、准确的检测与跟踪运动物体。     

Real-time detection of moving objects in video sequences

1 .INTRODUCTIONThe efficient detection of moving objects in video se-quences is a challenging and an i mportant task incomputer vision. It has many applications such assurveillance , video conference , traffic monitor-ing[1 ,2]. Traditionally, the most i mportant task ofsurveillance systemis based on human visual observa-tion,whichis a hard workfor watchmen.Therefore ,the automatic detection of moving objects is requiredinthe surveillance system. Tofacilitate a surveillancesystem,efficien…     

基于物体关系描述的单目语义SLAM方法

外界环境的语义感知和自身位置的准确估计是移动机器人自主导航和作业的关键。提出了一种基于单目相机的语义SLAM(simultaneous localization and mapping)方法,在轨迹估计的同时完成三维目标检测。提取物体自身语义、尺寸、颜色分布及其邻域拓扑结构等多元信息作为描述子,实现帧间物体的准确关联。在后端对相机位姿、地图点和物体路标进行联合优化,并自适应调整代价函数中各误差项的权重系数,以提高各状态变量的估计精度和鲁棒性。实验结果表明,所提出的算法在地图构建方面具有较高的精度。