基于物体间关系和场景信息的目标检测

提出了一种基于物体间关系和全局场景信息的目标检测方法.该方法利用物体的几何位置信息建立物体间的关系,并将图像的全局场景信息作为目标检测的先验知识.在2个常用的目标检测数据库上测试了方法性能.实验结果表明,所提出的方法不仅具有较好的目标检测准确率,而且具有较高的计算效率.     

图像和惯性传感器相结合的摄像机定位和物体三维位置估计

为解决无人驾驶中车辆定位与周围场景中物体三维位置估计,采用卷积神经网络(CNN)检测图像中的物体,用扩展卡尔曼滤波(EKF)方法融合惯性传感器测量得到的加速度和角速度,同时估计摄像机位置和物理世界中物体三维位置.图像结合惯性传感器(IMU)信息,克服了单目摄像机估计得到的摄像机位置和物体三维位置的尺度不确定性;结合卷积神经网络检测物体提高特征点匹配准确度,实现对物体在三维世界中的位置通用的估计.在实验部分用Matlab分别模拟仿真场景和现实场景的数据库KITTI,有效估计摄像机运动和场景中物体三维位置估计.     

基于场景理解的双波段彩色融合图像质量评价

为了针对具体的视觉任务衡量可见光与红外彩色(夜视)融合图像的综合质量,提出了一种基于场景理解的双波段彩色融合图像综合质量客观评价模型.该模型包括融合图像特征提取器、邻域共生矩阵特征提取器和权重生成器三部分.首先,使用融合图像特征提取器从融合图像中提取像素强度信息;然后,建立邻域共生矩阵特征提取器,从邻域共生矩阵中提取像素空间关系信息;最后,建立权重生成器,使用神经网络模型从梯度图中提取结构信息,将位置信息与结构信息相结合生成权重.实验结果表明,该方法在提取丰富的图像特征基础上,考虑人眼视觉特性,提高了模型预测值与人眼主观感受的一致程度,实现了融合图像综合质量的客观评价.     

一个具有图像语义的物体分类系统的实现

通过提取图像的底层特征,将特征输入BP神经网,应用共轭梯度法对网络进行有监督训练,即将先验知识加入神经网络中;一旦训练成功,依靠网络出色的泛化能力,系统就能正确识别图像中的物体和各物体的位置信息,这样就实现了对图像语义的理解.实验验证结果表明该系统对特定测试图像集的理解正确率达到了100%.     

基于关系感知双重注意力融合的视觉问答技术

传统视觉问答技术仅采用简单的位置注意力,缺乏语义注意力,从而引起问题推理错误.本文采用双重注意力机制从图像获取位置信息和语义信息,以外积形式进行融合,获得文本也采用双重注意力融合实体和对应关系的信息,帮助理解问题.双重注意力动态方式可以实现关系融合、动态学习,改变传统静态学习方式.以多标签分类器实现答案推理,减少传统二...     

基于两视图的曲面物体自动建模方法

提出一种基于两视图的曲面物体自动重建方法. 采用基于Haudorff距离的特征匹配技术对图像的正面和侧面中的曲面物体进行匹配,自动获得图像中物体的大致形状及位置信息. 采用基于形状先验的图像分割算法自动地将曲面物体从图像的正面和侧面中分割出来. 利用这两幅图像中获得的侧影轮廓线,实现曲面自动重建和纹理自动提取. 通过真实曲面物体进行重建实验,验证了该方法的可行性.     

双目立体视觉系统的研究

随着视觉神经学、计算机技术、图像处理技术以及人工智能技术等的发展,使得机器人模仿人的视觉系统成为可能。为了重建三维场景,研究了基于双目摄像机的双目立体视觉系统。融合人的眼睛处理视觉景物的方式,获取三维场景的深度信息。通过双目摄像头获取了被测物体不同位置的两幅图像,通过采集卡将图像信息传输给计算机,计算机通过图像预处理、选取颜色空间、图像分割、特征提取、立体匹配、三维重建等图像处理,真实再现了三维场景的几何信息。     

基于卷积-递归神经网络和费舍尔向量的RGB-D物体识别

综合利用彩色和深度信息,采用多数据模式的特征提取策略,提出一种基于卷积-递归神经网络和费舍尔向量的RGB-D 物体识别方法. 对于彩色图像和深度图像,分别利用卷积-递归神经网络和卷积-费舍尔向量-递归神经网络提取物体的纹理及形状特征. 为了更加全面的获取物体信息的特征表述,引入了灰度图像和表面法向量作为原始数据的补充,并利用卷积-递归神经网络提取特征. 最后,将4 种数据模式下提取到的特征融合起来,输入到softmax 分类器中实现RGB-D 物体识别. 在标准的RGB-D 数据库中对算法进行验证,所提算法可以有效提高物体识别率.     

一种基于PDF文档和置乱技术的文本数字水印算法

为了提高PDF文档的安全性,提出了一种基于置乱技术的适用于PDF文档的文本数字水印算法.首先,将水印图像进行置乱变换;其次,将原PDF文档转换成PS文件.利用PS文件中字符间距值来嵌入水印图像信息,同时将水印位置信息嵌入特定位置;最后,将PS文件转换为含有水印的PDF文档.     

基于小波系数矩阵二阶矩和多尺度小波分析的图像融合算法

图像融合是信息处理在图像领域中的一个重要应用.在引入多尺度小波分析的基础上,通过对图像各个部分进行多尺度小波分解,建立小波系数矩阵二阶矩以标志对应相关部分的图像信息的清晰度,并通过图像信息熵以标志图像信息量.通过特定选择机制进行小波逆向分解与图像重建,最终获得符合信息处理要求的清晰融合结果.编程实验证明了本方法的有效性和可行性,使芯片图像的细节和缺陷等能够得到很好的展现.     

引入图像信息的多模态复述生成模型

在商品描述、新闻评论等多模态场景下, 已有复述生成模型只能围绕文本信息生成复述。为了解决其因无法利用图像信息而导致的语义丢失问题, 提出多模态复述生成模型(multi-modality paraphrase generation model, MPG)来引入图像信息, 并用其生成复述。在MPG中, 为了引入与原句对应的图像信息, 首先根据原句构建抽象场景图, 并将与原句相关联的图像区域特征转换为场景图的结点特征。进一步地, 为了利用构建好的场景图来生成语义一致的复述句, 使用关系图卷积神经网络和基于图的注意力机制对图结点特征进行编码和解码。在评测阶段, 提出句对相似度计算方法, 从MSCOCO数据集中筛选出描述图像中相同物体的句对, 并将其作为复述测试集进行评测。实验结果显示, 所提出的MPG模型生成的复述拥有更好的语义忠实度, 表明在多模态场景下图像信息的引入对提高复述生成质量的有效性。     

结合语义的位置语言模型

针对位置语言模型没有考虑词与词之间语义关系的问题, 提出一种结合语义的位置语言模型。首先采用高斯核函数来度量词与词之间的位置关系; 然后提出一种平滑互信息的技术来度量词与词之间的语义关系, 证明了平滑互信息能够有效解决大量词对之间无法通过互信息来计算转移概率的问题; 还证明了位置语言模型是结合语义位置语言模型的一个特例; 最后将结合语义的位置语言模型应用于信息检索, 得到一个基于该模型的检索模型。实验结果表明, 基于该模型的检索模型在性能方面要优于基于位置语言模型的检索模型。     

基于注意力机制和感知损失的遥感图像去噪

遥感图像去噪对于遥感图像在后续的分类、检测等任务中有着非常重要的作用.为了让去噪后的图像更好地保留边缘细节信息,同时增强深度网络对噪声污染区域的辨识能力,本文结合注意力机制以及感知损失来处理遥感图像,提出了一种新的基于残差自编码器的遥感图像去噪网络ARED-VGG.考虑到遥感图像中不同地物大小不同,该网络首先同时使用图像的空间和光谱信息来提取多尺度特征;然后使用残差自编码器网络结构来进行图像空间-光谱多尺度图像重建.为了增加网络的辨识能力,更多地关注网络中提取的高频特征,网络引入了注意力机制.同时为了让去噪后的结果更符合视觉感观,使用了感知损失混合均方误差作为损失函数.从实验结果知,本文所提出的方法在噪声去除和纹理细节保留方面与NLM3D、BM4D、LRMR、HSID-CNN和3DADCNN相比表现更优.在Washington DC mall遥感图像数据集上进行了仿真实验,平均峰值信噪比以及平均结构相似性指标都有较好的结果;在AVIRIS Indian Pines数据集上进行了真实数据实验,以去噪后的结果地物分类指标作为验证,整体分类精度以及Kappa系数分别为96.90%和0.9647;对网络结构进行了消融实验,在两个数据集下,本文所提出的网络结构都能获得更优的结果.本文提出基于注意力机制和感知损失的深度神经网络进行遥感图像去噪,提高了网络的辨识能力,实现了良好的去噪性能,并且有效保持了图像的细节信息和光谱信息.     

融合边缘语义信息的单目深度估计

单目深度估计研究是许多视觉任务的基础,从图像中得到边缘清晰,细节丰富的深度图对于后续任务具有重要的作用.针对当前单目深度估计模型中不能深度融合图像语义信息以及不能较好地利用图像对象的边缘信息问题,首先构建了超像素拓扑关系图,使用图神经网络提取局部边缘信息之间的相互关系,得到以超像素为节点的拓扑关系图,其次构建了基于编解...     

基于细粒度可解释矩阵的摘要生成模型

针对摘要模型中总结并解释长篇上下文信息存在的困难,提出一种基于细粒度可解释矩阵,先抽取再生成的摘要模型(fine-grained interpretable matrix,FGIM),提升长文本对显著度、更新性和相关度的可解释抽取能力,引导系统自动生成摘要.该模型通过一个句对判别(pair-wise)抽取器对文章内容进...     

Effectively Lossless Subspace Appearance Model Compression Using Prior Information

Subspace appearance models are widely used in computer vision and image processing tasks to compactly represent the appearance variations of target objects. In order to ensure algorithm performance, they are typically stored in high-precision formats; this results in a large storage footprint, rendering redistribution costly and difficult. Since for most image and vision applications, pixel values are quantized to 8 bits by the acquisition apparatuses, we show that it is possible to construct a fixed-width, effectively lossless representation of the bases vectors, in the sense that reconstructions from the original bases and from the quantized bases never deviate by more than half of the quantization step-size. In addition to directly applying this result to losslessly compress individual models, we also propose an algorithm to compress appearance models by utilizing prior information on the modeled objects in the form of prior appearance subspaces. Experiments conducted on the compression of person-specific face appearance models demonstrate the effectiveness of the proposed algorithms.     

基于形态学膨胀操作的小波图像压缩编码算法

提出了一种基于形态膨胀运算的对子带间重要系数位置信息进行联合编码的新型小波图像压缩编码算法。该算法首先对同一分辨率下水平、垂直、对角线子带内重要系数的位置信息统一表示在一个子带中，然后依据小波图像的能量聚类特性，采用一种形态膨胀编码算法来对重要系数的位置信息进行高效压缩编码。试验结果表明，该算法要优于零树小波图像压缩编码算法。     

基于自监督学习的序列推荐算法

针对现有序列推荐算法易受数据稀疏影响以及对用户短期动态偏好建模不充分的问题,提出基于自监督学习的序列推荐算法。针对短期序列中的原始项目关系更易受到随机数据增强破坏的问题,对长短期序列使用不同的数据增强方法来构建更有效的自监督信号;利用对比式自监督学习框架对用户长期偏好和短期偏好进行多任务联合建模;针对现有自注意力机制无法建模序列中项目相对位置关系的问题,将自然语言处理领域中的解耦注意力机制引入到用户短期偏好学习过程中,充分捕获用户短期序列中项目的相对位置信息。实验结果证明了所提算法的有效性。     

基于边缘扩散信息拟合的测地线活动轮廓模型

针对测地线活动轮廓模型对轮廓初始化敏感的问题,提出一个基于边缘扩散信息拟合的测地线活动轮廓模型.首先定义了一个与图像边缘法线方向的二阶导数相关的扩散方程,通过求解这个扩散方程获得边缘扩散信息,利用这种边缘扩散信息构建了一个新的力场;然后由该力场驱动活动轮廓演化,使活动轮廓可以从边缘的两侧向真实目标边缘逼近,最终收敛到期望的边缘.本文模型采用一种快速有效的数值方法实现,水平集函数在整个演化过程中无需重新初始化,活动轮廓演化速度得到显著提高.一系列的人工和真实图像的实验结果表明,本文模型不仅对于初始轮廓的位置选择不敏感,并且可以分割弱边界目标、具有复杂几何结构的目标和带有孔洞结构的目标,综合性能优于一些传统算法.     

A Voronoi-based spatial algebra for spatial relations

Spatial relation between spatial objects is a very important topic for spatial reasoning, query and analysis in geographical information systems (GIS). The most popular models in current use have fundamental deficiencies in theory. In this paper, a generic algebra for spatial relations is presented, in which (i) appropriate operators from set operators (i.e. union, intersection, difference, difference by, symmetric difference, etc.) are utilized to distinguish the spatial relations between neighboring spatial objects; (ii) three types of values are used for the computational results of set operations-content, dimension and number of connected components; and (iii) a spatial object is treated as a whole but the Voronoi region of an object is employed to enhance its interaction with its neighbours. This algebra overcomes the shortcomings of the existing models and it can effectively describe the relations of spatial objects.