不同视角下海量高分辨率视频图像数据挖掘方法研究

当前高分辨率视频图像数据挖掘方法容易受到外界环境的干扰,提取的视频图像特征不可靠,且不同视角下提取的特征值有很大差异,导致视频图像数据挖掘精度大大降低。为此,提出一种新的不同视角下海量高分辨率视频图像数据挖掘方法,通过Harris角点检测方法对待挖掘高分辨率视频图像数据时空特征进行提取,依据高分辨率视频图像数据时空特征,通过自相关矩阵建立相同事物不同视角下的递归图,将递归图看作一幅图像,通过计算像素点的梯度向量构建递归特征描述符,对相同事物不同视角下的关联性进行挖掘,将具有相同递归图梯度特征的高分辨率视频图像数据汇聚在一起,实现数据挖掘。实验结果表明,所提方法挖掘精度高。     

超像素梯度流与元胞机融合的视频显著图检测

使用静态空间特征通常无法得到准确的视频显著性目标对象,提出了超像素梯度流场与元胞自动机融合的视频图像显著性检测方法。首先,使用SLIC方法将视频帧分割成超像素,在超像素级上运用光流梯度和颜色梯度生成一个时空梯度函数,由时空梯度得到新的梯度流场值,将视频中运动信息充分利用起来;其次,在视频帧超像素图像上使用卷积神经网络得到其深度特征,通过元胞自动机使这些深度特征依自定义规则更新出粗略显著图,然后将梯度流场显著图与元胞自动机粗略显著图融合得到最终的显著图;最后,在ViSal数据集上、采用5种评估指标、与现有的4种方法进行对比实验,结果表明本文方法在动态视频图像显著性检测中有好的表现。     

基于递归卷积神经网络的行人检测方法

为了提高视频中行人检测的准确度,提出了一种基于递归卷积神经网络的行人检测方法.该方法利用递归卷积神经网络融合视频中连续图像的上下文信息,以实现准确的行人检测.首先,利用卷积神经网络提取连续图像的多个特征图组;然后,根据先后次序,将多个特征图输入到递归卷积神经网络中,形成一张关于行人位置的掩码图;最后,通过在掩码图上预测行人的检测框,获得视频中当前图像的行人检测结果.实验结果表明:相比于其他行人检测方法,该方法在ETH、CUHK和PETS 2007三个数据集上都取得较准确的行人检测结果.     

基于特征层融合和随机投影的行为识别算法

提出一种基于特征层融合和随机投影的行为识别算法;该方法提取视频序列的时空梯度特征和Gabor特征;然后进行特征层融合,得到分类能力更强的特征,有效地表征人体行为;同时,使用随机投影对融合后的特征进行降维;最后,为了解决主题模型参数估计迭代复杂的问题,将贝叶斯参数估计法应用于LDA(latent dirichlet allocation)主题模型中,对视频中的行为进行分类。在公开的KTH和Weizmann数据集上进行了实验,结果表明方法不仅比单一局部时空特征描述符识别性能好,而且在相同实验设置下,也优于其他基本分类器。     

采用递归图编码技术与残差网络的滚动轴承故障诊断

针对传统故障诊断方法未充分挖掘故障信号的时间序列间关联性特征的问题,将递归图编码技术引入故障诊断领域,提出了递归图编码技术与残差网络的滚动轴承故障诊断模型。采用递归图编码方式将振动信号转换为增强信号特征的二维纹理图像;将这些特征图像输入残差网络中,结合残差网络对二维图像数据优秀的自适应特征提取能力,对滚动轴承进行故障诊断。使用凯斯西储大学轴承数据集和某局机务段采集的真实机车轴承数据进行试验验证,结果表明：所提模型对轴承故障诊断的识别准确率为99.99%和99.83%;在输入不同的数据长度和变工况的试验中,所提模型均保持了良好的故障诊断效果;对比其他常见的故障诊断方法,所提模型拥有更好的泛化性能和识别准确率。     

基于RP与NMF的内燃机气阀故障诊断方法

针对传统的内燃机故障振动诊断方法,难以有效提取故障特征,诊断精度较低的缺点,提出一种基于递归图(recurrence plots,RP)与非负矩阵分解(non-negative matrix factorization,NMF)的内燃机故障诊断新方法。该方法是利用图像的方法来进行故障诊断:首先通过递归图将采集到的内燃机缸盖表面振动信号生成图像,然后用非负矩阵对得到递归图进行特征参数提取,最后用分类器进行分类识别完成故障诊断。将该方法应用于气阀机构8种工况下振动信号诊断实例中,结果表明:该方法克服了传统的振动诊断方法从时域或频域进行分析时参数选取和故障特征提取的难题,直接将信号生成图像,对图像进行自适应特征参数提取、分类识别,能有效诊断出内燃机气阀机构故障,故障识别精度高,为内燃机振动诊断探索了一条新途径。     

多空间尺度融合的出行轨迹规律分析

多源时空轨迹数据隐含丰富的城市出行信息,通过对其进行挖掘、处理和分析,可以找到个体与群体之间的交互关系。针对轨迹数据挖掘研究范围单一,缺少多空间尺度研究的问题,提出一种融合多空间尺度特征的出行轨迹数据挖掘分析方法。以广东为例,结合社交媒体腾讯用户密度(Tencent user density, TUD)数据集,通过具有噪声的基于密度的聚类方法(density-based spatial clustering of applications with noise, DBSCAN)聚类算法与局部密度峰值计算法提取时空相似性轨迹区域,进而簇类分成一系列热点区域,获得不同时间粒度、不同空间尺度下的出行轨迹规律特征。这能够实现在不同空间尺度融合下展示同一地区的热点区域,进一步探讨出行轨迹的规律变化。可见所提出的方法为利用时空大数据进行城市空间结构研究提供科学参考。     

梯度优化的多尺度视频光流估计

提出一种基于梯度优化的不同运动幅度视频图像光流估计的新算法。先用Loggabor滤波器对原视频图像进行相位、尺度滤波,再用所得的特征图像来计算时空梯度,最后根据时空梯度计算光流。该算法模型同时运用由粗到精的图像金字塔方法对视频图像分层处理。理论分析和实验结果表明,该算法适用于大幅度的视频运动光流估计,不仅能得到适合人眼视觉分辨率特性的图像,而且使时空梯度更加优化,光流计算更准确。并且在时间复杂度上与传统光流计算方法相当,在计算精度上优于Horn和Schunck、段先华等人提出的算法。     

基于特征点网络的三维注册算法

鉴于自然环境下光照变化和视角变化会导致图像特征点不稳定,影响三维注册的效果,为此提出了一种基于特征点提取网络的三维注册算法.首先网络使用并行支路提取图像的特征点与描述子;接着通过二分图进行特征匹配;最后完成三维注册.在HPatches数据集上的实验结果表明：特征点在光照变化和视角变化下的可重复率分别达到了67.7%和55.9%,图像匹配的mAP达到了94.15%.在Oxford数据集上mAP达到了93.42%,视频上三维注册正确率达到了95.4%.     

基于卷积神经网络和递归图的桥梁损伤智能识别

为改进目前传统损伤识别方法对桥梁局部小损伤识别能力较弱的不足,提出利用深度学习方法中的卷积神经网络对桥梁损伤进行统计模式识别.根据卷积神经网络对损伤特征向量的需求,将车桥耦合振动下的原始结构响应信号进行小波包滤波和重构,之后通过递归分析获取不同损伤工况的递归图,将其作为新型的损伤特征图像作为卷积神经网络的输入.在此基础上提出基于卷积神经网络和递归图的桥梁结构损伤识别计算流程和方法.对一座连续梁桥进行不同位置和程度的损伤模拟,提取小波包频带能量及递归图等损伤特征向量,并进行基于多种统计模式识别算法的损伤识别.结果表明:与其他特征向量相比,递归图蕴含更丰富的损伤信息;与支持向量机和BP神经网络等传统统计模式识别方法相比,卷积神经网络能够通过逐层智能学习实现更准确的特征自动提取和区分,从而实现损伤位置和损伤程度的更精准识别.     

柔性姿态估计和时空特征结合的乒乓球动作视频片段关键帧提取

为了解决传统方法在场景复杂的情况下,因无法保证时间与空间上的连续性,导致乒乓球动作识别错误,影响关键帧提取性能的问题,将柔性姿态估计和时空特征结合在一起,研究乒乓球动作视频片段关键帧提取问题。依据稠密光流对乒乓球动作视频片段进行分段。对单帧图像人体柔性姿态进行估计,通过可分离线性滤波器时空特征点检测方法对乒乓球动作视频图像序列特征点的检测,将时空特征点当成中心建立时空立方体,提取时空立方体的像素建立时空特征。为了保证时间与空间上的连续性,引入时空特征边,得到有时空特征的柔性姿态估计结果。通过直方图相交法求出乒乓球动作视频片段中姿态相似度,计算全部姿态的Hog间差异度,构成差异度矩阵。在当前帧姿态差异度超过阈值的情况下认为当前帧为关键帧。实验结果表明,所提方法针对不同场景的保真率与压缩率一直高于0. 7,处于较高水平;主观评价结果好,可提取合理关键帧。可见所提方法对复杂场景的关键帧提取性能优,主观与客观评价结果好。     

基于地理信息系统的时空数据挖掘研究

传统的数据挖掘方法一般是从事务型数据库或者关系数据库中进行挖掘从而进行研究,对于地理信息系统中的时空特征无法进行很好的揭示。对于时空数据挖掘这种方法进行大量的研究,找出数据中包涵的时空规律,对于提高气象数据的研究效率,从而更好的进行气象预报,提高气象预报的准确性,有着非常重要的意义。将时空数据挖掘技术与传统的地理信息系统相结合,基于地理信息系统对于时空数据挖掘进行大量的分析,对于时空数据挖掘在气象数据使用中的方法,作用进行了大量的阐述。首先介绍了地理信息系统,时空数据挖掘和数据挖掘的概念,技术方法和联系。     

视频数据挖掘技术综述

视频数据挖掘技术旨在挖掘出视频数据中隐藏的、有价值的信息,来实现对视频的充分利用。通过对国内外视频数据挖掘的研究与分析,对视频数据挖掘技术进行了概述,详细阐述了基于特征和基于内容的视频挖掘技术,最后总结了视频数据挖掘系统所面临的挑战以及对全景视频挖掘的展望。     

基于梯度预测网络的气象雷达图像外推算法

针对基于循环神经网络的雷达图像外推算法难以表示雷达回波复杂变化的问题,提出GhuLSTM时空预测递归网络模型,用于高精度雷达图像外推.该模型利用时空记忆单元变体提取和传递雷达图像空间和时序上的高层特征信息,并利用相邻递归状态之间的差分信号处理雷达回波体演变的高阶非平稳性.同时在网络中加入梯度公路结构,以缓解雷达图像序列...     

基于视频图像的建筑室内空间数据矢量化提取方法

为提高建筑室内空间规划能力,需对建筑室内空间数据进行矢量化提取。为此,提出基于视频图像的建筑室内空间数据矢量化提取方法。设计建筑室内空间视频图像采集模型和空间装饰特征点边缘特征检测模型,采用分块检测方法重构建筑室内空间视频图像区域,结合RGB特征分解方法进行建筑室内空间数据矢量化分割,提取建筑室内空间视频图像的模糊度匹配特征量,通过分块模板匹配实现建筑室内空间数据矢量化提取。仿真结果表明,采用该方法进行建筑室内空间数据矢量化提取的准确性较高,图像的分辨能力较好,提高了建筑室内空间数据矢量化分割和装饰特征量的检测能力。     

基于模糊决策的短跑图视频中特征点轨迹模拟方法

提出了一种基于模糊决策的短跑图视频中特征点轨迹模拟方法.在时空信息中进行短跑图视频特征度量目标以及观测间距离特征提取,采用模糊决策方法计算不同目标中心的模糊隶属度,利用模糊综合函数对两种隶属度进行融合,获取模糊综合隶属度.通过模糊决策概念形成纹理特征关联规则和关联规则挖掘短跑图视频中特征点轨迹,完成短跑图视频中特征点轨迹模拟.仿真实验结果表明,所提方法能够提升短跑图视频中特征点轨迹模拟精确度,能够有效降低计算复杂度和绝对误差.     

医学图像数据挖掘与特征提取方法研究

在医学图像特性分析基础上,对医学图像的特征提取及数据挖掘热点进行了研究.根据CT、MRI图像的边缘提取、组织分割、立体重建和检索等方面的应用需求,重点分析了基于定性与定量的特征表示,及有效的灰度直方图和灰度共生矩阵的特征选取方法;通过对医学图像数据挖掘的相似性搜索、特征关联规则挖掘、多维分析及分类聚类方法的研究,提取了一种医学图像数据挖掘实施步骤,希望在医学与数据挖掘方法结合方面,对医学诊断、数据分析有一定的贡献或帮助.     

基于卫星遥感图像的农作物分类算法

为提高遥感图像对农作物的预估精度和农业种植效率, 设计了基于卫星遥感图像的农作物分类算法。 以2018 年 7 月 30 日哨兵二号(Sentinel-2)卫星拍摄的高分辨率哈尔滨市农业示范基地卫星影像为实验数据, 在不同光谱波段内(含红边波段), 通过使用最大似然法、 支持向量机法、 神经网络法分别对影像中水稻、 大豆、玉米、 高粱等农作物特征进行提取、 分类, 获得到农作物分类图;将统计结果与真实的参数进行比较, 分析了相同算法下使用不同数据源, 不同算法使用相同数据源, 这两种情况下的分类精度与可靠性。 实验结果表明,通过神经网络法得到的分类结果精度最高, 可靠性最强, 适合于全国范围内推广。     

融合FCN和LSTM的视频异常事件检测

针对传统视频异常检测模型的缺点,提出一种融合全卷积神经(FCN)网络和长短期记忆(LSTM)网络的网络结构.该网络结构可以进行像素级预测,并能精确定位异常区域.首先,利用卷积神经网络提取视频帧不同深度的图像特征;然后,把不同的图像特征分别输入记忆网络分析时间序列的语义信息,并通过残差结构融合图像特征和语义信息;同时,采用跳级结构集成多模态下的融合特征并进行上采样,最终获得与原视频帧大小相同的预测图.所提网络结构模型在加州大学圣地亚哥分校(UCSD)异常检测数据集的ped 2子集和明尼苏达大学(UMN)人群活动数据集上进行测试,均取得了较好的结果.在UCSD上的等错误率低至6.6%,曲线下面积达到了98.2%,F_1分数达到了94.96%;在UMN上的等错误率低至7.1%,曲线下面积达到了93.7%,F_1分数达到了94.46%.     

基于卷积-递归神经网络和费舍尔向量的RGB-D物体识别

综合利用彩色和深度信息,采用多数据模式的特征提取策略,提出一种基于卷积-递归神经网络和费舍尔向量的RGB-D 物体识别方法. 对于彩色图像和深度图像,分别利用卷积-递归神经网络和卷积-费舍尔向量-递归神经网络提取物体的纹理及形状特征. 为了更加全面的获取物体信息的特征表述,引入了灰度图像和表面法向量作为原始数据的补充,并利用卷积-递归神经网络提取特征. 最后,将4 种数据模式下提取到的特征融合起来,输入到softmax 分类器中实现RGB-D 物体识别. 在标准的RGB-D 数据库中对算法进行验证,所提算法可以有效提高物体识别率.