基于彩色-深度图像的手语识别算法

手语作为表达信息的一种方式,是聋哑人与外界交流的最主要途径。随着人工智能技术的发展,新型、自然、便捷的人机交互方式已经成为当今各行业交互方式的新趋势。传统手语识别方法普遍存在背景干扰严重、特征提取不完整及识别准确率低的缺点。针对以上问题进行研究,提出基于彩色-深度(RGB-D)图像的手语识别算法。在静态孤立词手语识别的基础上测试。实验对比结果表明,基于RGB-D的方法能得到比传统手语识别算法更好地性能;利用深度信息处理图像,有效地去除了场景中光照、背景的干扰,同时结合肤色信息去除非手形部分;采用概率神经网络(PNN)手语分类器对孤立词的识别准确率超过90%,取得了较高的识别率。     

一种基于改进的SURF算法的静态手语字母识别方法

结合Kinect传感器提出一种改进的SURF(speeded up robust features)算法进行静态手语字母识别的方法。Kinect传感器采集深度图像进行手势分割可以克服光照变化、复杂背景带来的干扰;改进的SURF算法对实时图像与模板图像的积分图进行计算分析,提取两者的SURF关键点描述符,采用最近邻匹配算法对SURF算法自有的快速索引匹配的结果进行优化,克服了角度旋转变化对手语字母识别率的影响。实验证明,该方法在应对光照变化、复杂背景、角度旋转方面有很好的鲁棒性,平均识别率为97.7%。     

基于RGB-D图像的深度图空洞修复

提出一种基于RGB-D的深度图像空洞修复算法。通过改进的双边滤波对深度图进行滤波处理,填充了空洞而且保持了图像的边缘;再利用复合型中值滤波对深度图进行处理消除孤立点的影响,平滑了深度图像。实验结果表明,这一方法能够有效地对深度图进行空洞修复且图像边缘清晰。     

RGB-D与MeanShift相结合的实时目标跟踪

针对MeanShift跟踪算法目标易受到周围相似背景区域干扰的问题,引入图像的RGB-D特征,研究并实现结合RGB-D与MeanShift的实时目标跟踪算法。首先,提出一种新颖的相似性度量方法优化二次型距离(advanced quadratic-form distance,AQFD);其次,基于颜色和深度特征完善了特征权重在线自适应调整机制和目标模型更新策略;最后,对该算法进行仿真分析并基于Jetson TX2平台实现。研究结果表明:本文算法在目标受到周围相似背景区域干扰情况下仍能够完成目标跟踪任务,优于先进算法Staple,具有良好的准确性与鲁棒性,并且能够应用于实时跟踪。     

复杂背景下结合Graph Cut分割的车牌定位算法

复杂背景下的车牌定位算法是车牌识别技术的一个难点。提出了一种结合graph cut图像分割及边缘检测技术的车牌定位算法,通过图像分割算法去除图像背景边缘信息对车牌定位算法的干扰,测试表明该方法有效提高了复杂背景下车牌定位算法的准确率。     

基于目标检测及高密度轨迹的动作识别

为了实现准确的动作识别效果,我们通常需要提取能够充分代表运动特征的信息。近年来,基于高密度轨迹的动作识别方法因为能够提供丰富的时空信息而受到研究者们的广泛关注。但高密度轨迹类的动作识别算法通常都要面临背景冗余信息干扰的问题,为了解决这一问题,本文在高密度轨迹的动作识别方法基础上引入了目标检测算法,通过可变形块模型方法检测运动主体位置后计算其周围的高密度轨迹,有效地排除了背景冗余信息的干扰。而目标检测算法通常要面临丢帧问题,为了应对这一情况,本文采用了词袋模型和支持向量机进行动作特征表述和分类,词袋模型根据大量数据词频构建特征描述符的工作原理,使得目标检测偶有丢帧的情况并不影响动作识别的最终效果,结合高密度轨迹算法后有效地提高了传统高密度轨迹算法的效率,也获得了更为准确的识别效果。本文算法在KTH,UCF YouTube和UCF Sports数据集上较当前算法都取得了更高的动作识别准确率,尤其在复杂背景数据集UCF YouTube和UCF Sports上识别准确率分别可达89.2%和90.2%。     

基于卷积-递归神经网络和费舍尔向量的RGB-D物体识别

综合利用彩色和深度信息,采用多数据模式的特征提取策略,提出一种基于卷积-递归神经网络和费舍尔向量的RGB-D 物体识别方法. 对于彩色图像和深度图像,分别利用卷积-递归神经网络和卷积-费舍尔向量-递归神经网络提取物体的纹理及形状特征. 为了更加全面的获取物体信息的特征表述,引入了灰度图像和表面法向量作为原始数据的补充,并利用卷积-递归神经网络提取特征. 最后,将4 种数据模式下提取到的特征融合起来,输入到softmax 分类器中实现RGB-D 物体识别. 在标准的RGB-D 数据库中对算法进行验证,所提算法可以有效提高物体识别率.     

一种基于手指轮廓特征的目标识别与定位算法

为了提高从背景图像中提取目标的速度和精度,设计了一种基于手指轮廓特征的目标识别与定位算法;该算法利用肤色信息和手指轮廓特征进行目标识别,利用提出的9点快速定位算法进行目标定位。仿真结果表明,该算法能正确识别出手指的特征;并对其进行快速定位。在实物系统上对算法的实时性、识别准确率、定位精度等性能进行了测试,测试结果表明,算法运行时间不超过40 ms,能保证系统对实时性的要求;在无手指状干扰物存在的情况下,目标识别的准确率可达95%以上;定位精度误差小于8 mm,可满足系统对定位精度的要求。这种基于手指轮廓特征的目标识别与定位算法为增强人机交互系统的和谐性提供了一种新的技术途径。     

基于RGB-D的室内场景实时三维重建算法

针对基于视觉的室内场景三维重建过程中存在三维点云匹配不准确、过程耗时和深度信息部分缺失的问题,提出一种带有深度约束和局部近邻约束的基于RGB-D的室内场景实时三维重建算法.该算法首先利用RGB-D相机采集到的RGB图像做哈里斯角点检测,再用SURF特征点描述方法对检测到的特征点生成64维特征描述子.接着利用特征点集合的深度信息和局部近邻特征点信息作为约束,初步筛选出相邻帧间正确的匹配点对,再结合随机抽样一致性(RANSAC)算法去除外点,以此得到相机的姿态估计.最后利用RGB-D的深度图像,在图优化方法(g2o)的基础上生成三维点云,实现室内场景的三维重建.实验中,RGB-D摄像头装载在自主移动导航的小车上,实时重构的三维场景验证了所提算法的可行性和准确性.     

基于Kinect的中国手语识别

基于微软Kinect提取的深度图像信息,提出了一种新的中国手语识别方法。该方法首先利用Kinect获取人体主要骨骼的3D坐标和手的3D坐标;然后根据中国手语的手型、手的位置和手的方向3个主要构造成分,分别采用DBSCAN和K-means聚类算法获取手语特征中的手的位置基元和方向基元,提出一种结合CLTree和Attribute bagging聚类集成方法提取手型基元;最后将这3类基元进行组合采用模板匹配方法识别中国手语。通过对选取的72个中国手语进行识别实验,平均识别率为90.35%,实验结果说明了方法的可行性。     

基于改进凸分解的手势识别

提出了一种新的基于Kinect的实时静态手势识别方法,主要贡献包括:提出了一种简易可行的、结合图像深度信息与肤色信息的手势区域检测与分割方法;提出了一种改进的凸分解算法,对手势区域进行近似凸形状分解,以得到表征手势特征的骨架信息;采用基于路径相似性的骨架图匹配算法对手势进行匹配以实现识别.针对特定手势集进行了对比实验,实验结果表明,本文方法在识别结果的准确率以及算法的效率上都有着良好的表现.      

基于特征融合的金属铸造工件表面裂纹检测算法研究

针对复杂结构的金属铸造工件表面因成像复杂引发干扰,裂纹提取判别困难的检测问题,本文提出一种结合了颜色形态特征融合图像分割和纹理特征裂纹判定的金属铸造工件表面裂纹检测算法。算法通过GAMMA变换增强裂纹并弱化背景,根据裂纹目标的颜色特征与几何形状特征相融合,量化特征并滤波特征值分割提取裂纹目标,基于灰度共生矩阵对候选裂纹区域提取纹理特征,使用支持向量机分类器进行训练并识别裂纹。金属工件表面裂纹检测实验表明,该算法在图像分割方面能更加完整准确的提取裂纹,在真伪裂纹的识别中准确率、精确率、召回率和F1得分分别为94.47%、92.51%、96.67%和93.74%。相较于传统检测算法,该算法克服了上述干扰影响,在准确率等方面具有优势,且具有较快的识别速度。     

基于决策树型SVM的交通标志图像识别

由于采集信息装置简单和外界环境复杂,以及对识别方法的实时性、准确性要求,使得交通标志识别成为一项难题．首先根据交通标志特殊颜色信息和规则几何外形,利用边界矩技术迅速清除干扰区域,然后将剩下的区域规格化,送入训练好的决策树型支持向量机识别．在决策树型向量机训练阶段,使用模糊聚类算法,较好地完成了树型建构,使向量机具有良好的区分度．对大量实景图像进行实验证明,本研究方法具有平移、旋转、缩放、拉伸不变性和较强的容噪能力．     

低频干扰下无线多媒体网络中不良视频检测算法

当前无线多媒体网络容易受到低频干扰,传统不良视频检测算法无法有效去除干扰,导致检测结果不可靠。为此,提出一种新的无线多媒体网络中不良视频检测算法。为了使运动矢量平滑,通过向量中值滤波技术对其施行处理。为了避免因摄像头位置变动造成的干扰,采用平均值法对视频进行进一步处理。在无线多媒体网络视频序列时间轴中,将局部光问题转换成关键帧识别问题。在获得关键帧的基础之上,通过HIS模型快速准确地实现肤色部分的提取,判断检测视频是否为不良视频。经实验验证,所提算法检测精度高、结果可靠,且开销小。     

一种结合深度信息的人体行为识别方法

针对现有的人体行为识别方法中易受到噪声、光照以及复杂背景等因素的影响,同时,未充分考虑到人体交互区域的作用。提出一种结合普通彩色视频和深度信息的人体行为识别方法。首先,对于识别中提取人体运动目标时,利用深度图中物体表面法向量提取运动目标的边缘;同时结合加权累计帧差法获取运动模板。其次,结合深度连续性提取非人体区域(人体与动作的交互区域)并进行描述,作为人体行为表示的一部分。最后利用支持向量机(support vector machine)进行训练和识别。实验部分在CAD-120数据集中测试,通过与一些现有的人体行为识别方法相比较,动作识别准确率提高了5%左右。     

基于虚警识别与空-频域显著性映射的红外弱小目标检测算法

为了提高复杂背景与低信杂比率环境下的弱小目标检测准确度,有效控制虚警的干扰,考虑真实目标与背景的差异,设计了虚警识别耦合空-频域显著性映射的红外弱小目标检测算法。首先,根据红外中心像素在不同方向的强度,基于中值滤波器,构建了新的噪声滤波方法,充分抑制红外背景中的噪声干扰。随后,考虑中心像素与其邻域像素间的强度差别,设计背景抑制滤波机制,消除背景信息。根据初始红外图像与背景抑制结果,在空域内计算灰度映射。基于Fourier变换的相位谱,在频域内提取红外目标的显著性映射。利用背景的均值与方差,通过一个滑动窗口,建立候选目标检测方法,从灰度映射与显著性映射中确定候选目标。最后,利用真实目标位置的相关性,建立虚警识别方法,从候选目标中消除虚警,以保留真实弱小目标。实验数据表明:较已有的弱小目标识别技术而言,在复杂干扰背景下,所提方案可准确定位出真实目标,拥有更大的信杂比增益值与背景抑制因子,以及更好的ROC(receiver operating characteristic curve)特性曲线。     

改进rank变换的多窗口彩色图像立体匹配算法

为克服环境变化和双目相机的差异带来的干扰,针对传统立体匹配算法在视差不连续区域存在误匹配率高等问题,提出一种在rank变换域中对彩色图像进行多窗口匹配的算法.首先对标准图像库中的彩色图像进行分等级的改进rank变换,将图像从彩色空间变换到秩空间;然后采用改进的绝对值指数方法计算像素的颜色相似性,减少噪声和光线差异的干扰;最后利用快速多窗口算法进行匹配.实验证明该文算法有较强的抗噪性,能获得实时鲁棒的匹配结果.相对于固定窗口非参数变换匹配算法在视差不连续区域匹配精度提高了18.5%.     

基于ICODENSATION算法的人手跟踪与手势识别算法

为实现基于手势的智能人机交互，提出了一种基于视觉的人手跟踪与手势识别算法．该方法以ICON—DENSATION算法为基础，融合颜色与深度信息进行重要采样，结合轮廓信息并通过ASM模型的能量函数进行观测，根据最大后验概率对几种预定义的手势进行识别．实验结果表明，该算法能够有效地实现复杂背景下的人手跟踪与手势识别，为进一步实现智能人机交互奠定了基础．     

基于ICONDENSATION算法的人手跟踪与手势识别算法

为实现基于手势的智能人机交互,提出了一种基于视觉的人手跟踪与手势识别算法.该方法以ICONDENSATION算法为基础,融合颜色与深度信息进行重要采样,结合轮廓信息并通过ASM模型的能量函数进行观测,根据最大后验概率对几种预定义的手势进行识别.实验结果表明,该算法能够有效地实现复杂背景下的人手跟踪与手势识别,为进一步实现智能人机交互奠定了基础.     

灰度积分投影和圆形标记法结合的人眼定位

讨论对于自然光下摄像头采集的人脸照片的眼睛定位算法,该算法是基于灰度积分投影和圆形标记法实现。分为以下三个步骤:首先,在RGB空间下对图像进行肤色检测,得到可能的人脸图像,通过形态学处理排除噪声等干扰;然后,根据亮度分量对人脸区域进行分割,得到五官图,并通过灰度投影对人眼进行粗定位;最后,通过圆形标记法,把区域内的白色空洞转化成面积相等且质心为圆心的圆形,经过几何特征筛选排除干扰圆得到双眼的两个圆形。该算法在Matlab平台上进行仿真实验,结果表明,此算法对于复杂背景下特别是存在类肤色干扰情况时人眼定位效果好、精度高。