基于视觉的手语识别及其分类

手语是人们在聋人环境中使用手的姿势、动作、位置和朝向,配合面部表情、按照一定的规则来表达特定语义的交际工具。本文分别从基于词根的手语识别方法,基于视觉的手语识别方法和基于中国手语单手词汇的识别方法对两种手语分类的方法进行了论述。     

基于RGB-D图像的视觉SLAM算法研究

针对主流的RGB-D SLAM系统精度较低并且仅生成稀疏点云地图的问题,提出一种改进的SLAM系统。前端采用改进的ORB特征提取算法,改进特征点簇集的问题;后端综合利用EPnP与ICP算法进行相机位姿优化,提高位姿估计精度;并增加稠密点云地图构建线程,得到场景的稠密点云地图,以用于机器人的导航与路径规划。在TUM数据集上,使用Kinect V2相机将改进的SLAM算法与ORB-SLAM2算法进行实验比对,验证了改进SLAM算法的综合性能优于ORB-SLAM2算法。     

一种用于手语识别的中国手语分类方法

从手语识别的角度出发对中国手语的特征进行了分析,对现有的手语识别方法－－基于计算机视觉的方法和基于佩带式输入设备的方法进行了分析和比较,并提出了一种新的手语分类方法。     

基于Kinect的中国手语识别

基于微软Kinect提取的深度图像信息,提出了一种新的中国手语识别方法。该方法首先利用Kinect获取人体主要骨骼的3D坐标和手的3D坐标;然后根据中国手语的手型、手的位置和手的方向3个主要构造成分,分别采用DBSCAN和K-means聚类算法获取手语特征中的手的位置基元和方向基元,提出一种结合CLTree和Attribute bagging聚类集成方法提取手型基元;最后将这3类基元进行组合采用模板匹配方法识别中国手语。通过对选取的72个中国手语进行识别实验,平均识别率为90.35%,实验结果说明了方法的可行性。     

基于移动终端的汉语手语识别技术研究

文中使用图像轮廓填充图形作为手语手势的特征参数进行静态手语识别。关键是提取出图像边缘轮廓,并做出轮廓填充图形,根据这个特征参数对待测图像进行手语手势的特征匹配。该方法对图像亮度、缩放、平移、旋转具有不变性,而且该方法计算简单、快速,可以用于基于移动终端（Android手机操作系统平台下）的手语识别系统。     

基于卷积-递归神经网络和费舍尔向量的RGB-D物体识别

综合利用彩色和深度信息,采用多数据模式的特征提取策略,提出一种基于卷积-递归神经网络和费舍尔向量的RGB-D 物体识别方法. 对于彩色图像和深度图像,分别利用卷积-递归神经网络和卷积-费舍尔向量-递归神经网络提取物体的纹理及形状特征. 为了更加全面的获取物体信息的特征表述,引入了灰度图像和表面法向量作为原始数据的补充,并利用卷积-递归神经网络提取特征. 最后,将4 种数据模式下提取到的特征融合起来,输入到softmax 分类器中实现RGB-D 物体识别. 在标准的RGB-D 数据库中对算法进行验证,所提算法可以有效提高物体识别率.     

基于轻量3D CNNs和Transformer的手语识别

针对传统基于3D CNNs(三维卷积神经网络)的手语识别方法模型计算复杂度和内存占用较高,及基于RNNs(循环神经网络)的连续手语识别方法的长距离建模能力不足的问题,提出一种基于轻量3DCNNs和Transformer的手语识别方法．首先使用轻量3D CNNs进行孤立词手语识别的时空建模,然后提出RKD(随机知识蒸馏),从多个教师模型中提取知识以提高轻量三维卷积的特征提取能力;针对连续手语,在特征提取后使用完全基于自注意力的Transformer进行全局建模．实验结果表明：所提方法在CSL-500和CSL-continuous数据集上可以获得95.10%的识别率和1.9的WER(词错误率),证明了所提方法的有效性．     

基于身体姿态关键点检测及算法融合的连续手语识别

连续手语识别相对于单个手语词识别来说,更加具有研究意义也更加具有研究难度.连续手语识别需要更关注整体语句在时间上的依赖关系,以及语句中手语词结束与开始的时序分割问题.而对此的单个识别算法的研究与优化,短时间都很难再有较大的突破.因此,我们提出一种基于算法融合的连续手语识别方法,先通过帧间差分法处理关键帧,再通过MediaPipe检测并保存关键点数据,降低数据量,并提供有效、直接的数据;再通过CNN+BLSTM算法融合模型,让CNN专注局部感知,捕捉空间特征关系;BLSTM则侧重特征序列的时序建模,突出连续手语在时间纬度上的依赖关系.最后结合CTC完成标签和语句对齐问题.该算法在CSL数据集上取得了98.4%的平均识别率.     

基于RGB-D图像和深度学习的场景语义分割网络

近年来,深度卷积神经网络应用于图像语义分割领域并取得了巨大成功。本文提出了一个基于RGB-D(彩色-深度) 图像的场景语义分割网络。该网络通过融合多级RGB网络特征图和深度图网络特征图,有效提高了卷积神经网络语义分割的准确率。同时,本文利用带孔的卷积核设计了具有捷径恒等连接的空间金字塔结构来提取高层次特征的多尺度信息。在SUN RGB-D数据集上的测试结果显示,与其它state-of-the-art的语义分割网络结构相比,本文所提出的场景语义分割网络性能突出。     

基于卷积神经网络的交通标志识别方法

针对卷积神经网络(CNN)在交通标志识别过程中出现的梯度弥散而引起的识别率低的问题,给出了基于改进CNN结构的交通标志识别方法.实验结果表明:该方法能够有效提高识别精度,防止梯度弥散.     

电话交谈语音识别中基于 LSTM-DNN 语言模型的重评估方法研究

近年来,神经网络语言模型的研究越来越受到学术界的广泛关注.基于长短期记忆(long short-term memory,LSTM)结构的深度神经网络(LSTM-deep neural network,LSTM-DNN)语言模型成为当前的研究热点.在电话交谈语音识别系统中,语料本身具有一定的上下文相关性,而传统的语言模型对历史信息记忆能力有限,无法充分学习语料的相关性.针对这一问题,基于LSTM-DNN语言模型在充分学习电话交谈语料相关性的基础上,将其应用于语音识别系统的重评估过程,并将这一方法与基于高元语言模型、前向神经网络(feed forward neural network,FFNN)以及递归神经网络(recurrent neural network,RNN)语言模型的重评估方法进行对比.实验结果表明,LSTM-DNN语言模型在重评估方法中具有最优性能,与一遍解码结果相比,在中文测试集上字错误率平均下降4.1％.     

基于AlexNet模型的佤语语谱图识别

针对佤语语谱图的识别无需考虑清、浊音的影响这一特征.利用傅里叶变换将佤语转换为对应的语谱图信息,将深度卷积神经网络的AlexNet模型用于佤语语谱图识别.实验表明,语谱图识别可以有效解决语音识别过程中清、浊音对实验识别结果的干扰,实验准确率达到96%.     

基于BP神经网络的非特定人语音识别算法研究

当前非定特人语音识别算法大多只适于连续语音,且识别精度和速度均较低。为此,提出一种新的基于BP神经网络的非特定人语音识别算法,介绍了标准BP神经网络,针对其收敛速度慢的弊端,通过变化的自适应学习速率,令网络训练针对各种阶段自行设置学习速率值,利用变学习速率构建对应的改进BP神经网络模型,将改进的BP神经网络模型看作识别非特定语音的识别器,输入待识别语音,令累计预测残差达到最小,实现非特定人语音识别。将改进模型应用于非特定人语音识别中进行验证,结果表明所提算法识别率更高、识别速度更快,不仅适于连续语音的识别,也适于不连续语音的识别。     

基于改进关键帧选择的RGB-D SLAM算法

关键帧选择是提高视觉SLAM(simultaneous localization and mapping)算法精度及实时性的重要因素.关键帧常以图像的帧间相对运动距离为选择依据.该方法虽简单有效,但实时性、鲁棒性较差且容易产生大量冗余关键帧.针对上述问题,提出一种改进的关键帧选择算法.该算法整合了帧间相对运动距离、帧间特征点跟踪以及最小视觉变化来选择关键帧并删除冗余关键帧.基于该算法,结合具有较好方向和光照不变性的ORB(oriented FAST and rotated BRIEF)特征,实现了RGB-D SLAM算法.在RGB-D数据集上的实验表明,改进的关键帧选择算法能够更精准、及时地选择关键帧,并在减少RGB-D SLAM中冗余关键帧的同时提高算法的实时性、建图和定位精度.     

基于BP神经网络指纹识别的算法

通过对多种指纹分类算法的研究和分析，提出了一种基于BP神经网络对指纹模板进行分类的新算法．首先在对指纹图象进行预处理后建立起指纹模板库，然后采用时间模拟退火函数进行学习因子修正的方法来减少BP算法迭代次数，以提高收敛速度及跳出局部最小．仿真证明：该算法与传统的指纹识别算法相比，分类速度明显高于传统的固定步长的BP算法．     

基于ARM的数据手套及其手语识别系统的设计与实现

文章介绍了以ARM9芯片S3C2440为平台的数据手套及其手语识别系统的设计与实现．首先给出了利用弯曲传感器和三轴加速传感器组成的数据手套的整体架构设计;其次,描述了采用FLX-03传感器的手指弯曲度模块、采用ADXL345传感器的手部动作模块、USB通讯模块的实现以及与Mini2440开发板的连接方法;最后,给出了基于该数据手套的一个手语识别系统,该系统界面友好,功能实用、扩展性强、手语识别效率高,可添加更多的手势语,能很好地识别简单的手语．     

一种基于图像识别的燃气表远程直读系统研究

为了解决无线抄表系统中燃气表机械字轮读数与电子计数存在累计误差的问题,提出一种在传统燃气表上加装图像识别抄表模块,利用遗传算法(genetic algorithms,GA)优化的径向基函数神经网络(radical basis function,RBF)进行字轮读数图像识别的实现方法。在图像识别抄表模块中,采用分块迭代算法对图像进行二值化处理,并在远程发送前对图像数据进行压缩,以减少数据传输量;使用最近邻聚类与K均值聚类相结合的算法确定隐层中心位置,为了消除中心宽度对中心值的依赖,采用GA对中心宽度进行优化,引入二次验证机制,进一步减少识别误差;通过通用分组无线业务(general packet radio service,GPRS)方式将识别结果及相应图像发送到管理中心,由管理中心对燃气表读数进一步核对。仿真结果表明,抄表终端功耗较低,抄表正确率超过97%。     

基于多尺度卷积神经网络的交通标志识别

针对自然场景中交通标志识别问题涉及的识别准确率和实时性改善需求,提出了一种改进的基于多尺度卷积神经网络(CNN)的交通标志识别算法.首先,通过图像增强方法比选实验,采用限制对比度自适应直方图均衡化方法作为图像预处理方法,以改善图像质量.然后,提出一种多尺度CNN模型,用于提取交通标志图像的全局特征和局部特征.进而,将组合后的多尺度特征送入全连接SoftMax分类器,实现交通标志识别.采用德国交通标志基准数据库(GTSRB)测试了所提算法的有效性,测试结果表明,算法在GTSRB基准数据集上获得98.82%的识别准确率以及每幅图像0.1ms的识别速度,本文算法具有一定的先进性.