差分特征融合改进的动态手势识别分类网络模型

通过卷积神经网络和长短期记忆网络进行多模型结合,实现动态手势识别分类建模,并使用数据增强算法增加数据的多样性,通过差分特征融合改进网络。7种动态手势动作识别分类的实验结果显示,使用数据增强算法增加数据的多样性后,结合模型的识别率最佳可提升286%;通过差分算法改进网络,序列间差分特征融合模型识别率达到8381%,维度差分特征融合模型识别率达到8762%。表明多模型结合可解决单一模型的局限性,处理更加复杂的动态手势分类问题,两种不同形式的差分特征融合改进都可提升动态手势动作的识别率,从而验证了所设计的差分特征融合改进的动态手势识别分类网络模型的有效性和可行性。     

基于ART2神经网络的手势动作肌电信号识别

针对手势动作肌电信号识别中存在的识别效率和稳定性问题,采用一种基于ART2神经网络的手势识别方法,并进行了单用户和多用户的实验研究.对8名受试者、8类手势动作模式的单用户实验,取得了较高的识别正确率,与BP网络相比,ART2分类器具有识别率高、实时性好、鲁棒性强的优点;同时,多用户的实验结果表明,ART2网络对手势动作肌电信号的识别具有良好的自适应性和稳定的分类能力.     

虚拟诱导患者下肢主动运动意图及其脑电精准感知方法

针对下肢运动功能障碍患者无法产生强烈主动运动意图造成外骨骼机器人在康复运动辅助时人机交互性差的问题,提出了一种虚拟诱导患者下肢主动运动意图及其脑电精准感知方法。首先,分析影响患者运动意图产生的因素,建立基于大脑注意机制的虚拟诱导患者意图产生模型,形成基于脑电信号的人机交互策略;然后,设计并搭建数据驱动沉浸式三维虚拟诱导场景,激发患者大脑产生主动运动意图;进而,采集患者脑电信号,通过基于自适应噪声完备经验模态分解(CEEMDAN)和独立成分分析(ICA)相结合的伪迹去除方法进行信号预处理;最后,利用深度卷积神经网络实现对患者运动意图的精准识别。实验结果表明：虚拟诱导方法能够有效增强受试者脑电信号特征,运动意图识别率明显提高,相比常规方法,采用虚拟诱导方法后,静息状态识别准确率达到80.5%,提高了10.33%,产生意图识别准确率达到92.17%,提高了20.5%,稳定维持在较高水平,为外骨骼机器人实现按需辅助控制奠定了基础。     

基于脑电信号的手指动作识别

分类识别技术在脑-机接口的研究中占有重要地位,本文基于在事件相关脑电图中,存在的运动感觉皮层脑电位下降和事件相关非同步现象,运用了一种基于共空域子空间分解的算法,对左右手指动作时的多通道脑电信号进行了特征提取。最后,根据提取的特征进行了手指动作的识别,在对三个人的脑电数据识别中,平均识别率达到了75.6%。     

基于HMM的手势识别研究

利用可穿戴式加速度传感器采集手势动作信息,研究了基于隐马尔可夫模型的手势识别技术.首先采集手势加速度数据,采用改进的SWAB算法进行自动端点检测,通过提取相应的手势特征,利用HMM对手势指令建模,并采用K-means算法矢量量化手势特征序列,以提高手势识别性能.实验表明,本文采用的方法能够有效识别手势动作.     

基于MYO的肌电假肢手控制中手势在线识别系统

表面肌电(surface electromyography,s EMG)信号被广泛应用于临床诊断、康复工程和人机交互等领域中.针对目前控制肌电假肢手的电极成本高、电极佩戴困难以及操作灵活性差等问题,设计一种基于MYO的肌电假肢手手势在线识别系统.通过采集人体上肢前臂的表面肌电信号,在时域上分别提取5种特征值,利用反向传播(back propagation,BP)神经网络分类算法实现对8种手势动作意图的在线实时识别.实验结果证明,利用MYO进行手势识别可以获得较好的识别结果,该系统能够准确识别8种手部动作,平均在线识别率达到92%.     

结合运动想象和动作观察的伸-握动作识别方法

为了获取单侧手部在伸-握动作下与运动想象直接相关的脑电信号(EEG)特征并实现精细动作有效识别,提出了结合运动想象和动作观察的单侧手部伸-握动作精细识别方法。首先,设计了结合运动想象和动作观察的复合范式,增强了伸-握动作所对应大脑皮层的激活程度,并探索了在运动想象、运动观察和复合范式下大脑皮层的激活规律;然后利用小波变换重构各个通道EEG并计算相应多尺度熵,并通过共空间模式获取伸-握动作所对应EEG特征;最后,利用线性判别式法从EEG特征中识别"伸开"和"握拳"精细动作。实验结果表明:相比单一实验范式的运动想象或动作观察,该方法在低频(5～20 Hz)时更能有效地激活运动区和枕区的神经元;同时,"伸开"动作对应EEG的多尺度熵明显大于"握拳"动作的熵值,实现了单侧手部伸-握动作精细意图感知,其平均正确率可达85.7%。     

一种基于信息融合与运动域分割的手势运动方向识别方法

手势识别中,除手的分割是个难题外,在视频流中,手势有效动作起止帧的判定也是一个急待解决的问题。将图像的肤色与运动信息结合,分割出手,建立手势运动的历史图(Motion History Image,MHI),提出了一种MHI与改进的运动能量图(Improved Motion Energy Image,IMEI)结合的机制,判定有效手势运动的起止帧,最后建立有效手势运动的MHI;同时提出改进图像梯度向量算法用于手势运动方向(上,下,左,右)识别。实验表明,对于有效手势运动起止帧的正确判断率一般可达90%以上,有效手势识别率达96%以上,手势交互自然顺畅。     

基于时空特征学习Transformer的运动想象脑电解码方法

脑电图（Electroencephalography,EEG）可记录来自大脑皮层的电信息，反映了脑活动中神经细胞放电产生的电场变化情况. EEG的空间信息和时间信息对于运动想象脑电（Motor Imagery Electroencephalogram,MI-EEG）解码分类模型学习判别特征至关重要，但过度依赖预处理和手工特征提取，导致对EEG数据进行信号分类较为困难.尽管深度学习已经在很多领域实现了自动特征提取，但脑电图的深度学习尚未完成.提出基于FBCSP (Filter Bank Common Spatial Patterns)和Transformer模型的时空特征学习的运动想象脑电解码方法 .针对FBCSP滤波的脑电信号，依次通过空间维度和时间维度上的注意力转换来获取空间和时间特征，然后通过Softmax函数对不同类别的EEG数据进行分类.实验结果表明，在BCI竞赛数据集IV-2a上，该方法的分类准确率可达84.16%，为MI脑电信号分类提供了新思路.     

一种基于改进结构的级联手势回归算法

基于手势特征和回归算法,通过改进传统的3D手势级联回归算法学习效率低的缺陷,提出一种新的基于手势变化特征的手部结构特征算子,有效减少了手部特征算子的维度,并对传统级联回归器进行了适应于手势变化的结构改进,使其针对手部结构的识别效率显著提高.在公开数据库及自建数据库分别进行实验,实验结果表明,该算法在保持手势识别准确度的同时,能有效提高执行效率.     

复杂背景下基于肤色检测的动态手势分割与识别

在类肤色的复杂背景下,基于肤色检测的动态手势识别会因肤色干扰导致识别效率较低。提出了一种基于YCbCr颜色空间的改进三帧差分法的动态手势识别方法。首先利用改进的三帧差分法对动态手势进行分割,有效去除类肤色背景;然后根据人体肤色在YCbCr颜色空间中的聚类效果,采用基于椭圆模型的肤色检测方法有效去除非肤色背景,分割出手势区域。通过双特征提取,有效去除大范围的肤色背景,最终得到完整的手势;最后利用BP神经网络较强的自学习能力,对分割的动态手势进行检测识别。实验结果表明,此方法在应对环境变化时具有较好的实时性和抗干扰能力,拥有较高的识别率。     

基于多层次特征融合的Transformer人脸识别方法

卷积神经网络中的卷积操作只能捕获局部信息,而Transformer能保留更多的空间信息且能建立图像的长距离连接.在视觉领域的应用中,Transformer缺乏灵活的图像尺寸及特征尺度适应能力,通过利用层级式网络增强不同尺度建模的灵活性,且引入多尺度特征融合模块丰富特征信息.本文提出了一种基于改进的Swin Transformer人脸模型——Swin Face模型.Swin Face以Swin Transformer为骨干网络,引入多层次特征融合模块,增强了模型对人脸的特征表达能力,并使用联合损失函数优化策略设计人脸识别分类器,实现人脸识别.实验结果表明,与多种人脸识别方法相比,Swin Face模型通过使用分级特征融合网络,在LFW、CALFW、AgeDB-30、CFP数据集上均取得最优的效果,验证了此模型具有良好的泛化性和鲁棒性.     

基于改进凸分解的手势识别

提出了一种新的基于Kinect的实时静态手势识别方法,主要贡献包括:提出了一种简易可行的、结合图像深度信息与肤色信息的手势区域检测与分割方法;提出了一种改进的凸分解算法,对手势区域进行近似凸形状分解,以得到表征手势特征的骨架信息;采用基于路径相似性的骨架图匹配算法对手势进行匹配以实现识别.针对特定手势集进行了对比实验,实验结果表明,本文方法在识别结果的准确率以及算法的效率上都有着良好的表现.      

基于栈式稀疏自编码多特征融合的快速手势识别方法

针对复杂背景下手势分割提取效果不佳、图像识别率不高、识别困难等问题,研究多特征融合的快速手势识别方法.利用YCbCr颜色空间模型,构建肤色分布模型,从复杂背景中去除大部分非肤色的干扰,从而实现手势分割;接着采用5层栈式稀疏自编码网络框架,分别提取手势感兴趣区域（region of interest,ROI）的纹理图像、形状图像和显著视觉图像作为自编码网络输入,将提取到的不同类型的特征进行线性融合;最后使用基于径向基核函数（radial basis function,RBF）的支持向量机（support vector machine,SVM）分类器进行融合特征数据分类,从而实现不同类型的手势识别.实验结果表明,相比其他手势识别方法,本文方法识别率较高,提取特征更具有代表性,平均识别率可达95.05%.      

基于神经网络的手势识别技术研究

以数据手套为基础,分析了手形的几何关系,建立了虚拟手的模型,由数据手套的数据接口获取各指节的曲伸角度,建立手势标准样本库,并提出了基于BP神经网络的手势识别方法,用手势标准样本加以训练,使其具备识别手势的功能,并利用VC 编程实现BP神经网络,用Matlab验证实验结果的正确性.     

基于姿态角的双Kinect数据融合技术及应用

针对单个Kinect深度图像传感器在人机交互时的骨骼自遮挡所导致的识别精度问题,提出了基于姿态角的双Kinect数据融合技术。首先,通过两台Kinect采集人体关节的数据信息;并做坐标统一化处理;其次,提出了基于姿态角的骨骼数据融合算法模型,同时依据Kinect SDK构建标准姿势特征向量集合;随后,根据骨骼活动度分配对应骨骼贡献度大小,进而计算融合后的姿势特征向量集合与标准姿势特征向量集合的余弦和,实时反馈两者姿势的匹配度,实现人体姿势的识别。通过构建数据融合处理平台,并应用于人体姿势识别,验证了该方法在不影响识别速率的前提下,提高了人体姿势识别的精准度。     

基于粒子群优化支持向量机康复下肢外骨骼的脑电控制研究

为解决失能人群自主移动的问题,脑机接口(brain computer interface, BCI)已广泛应用于外骨骼领域,但脑电(electroencephalogram, EEG)信号因信噪比低等原因导致识别率一直难以提高。为提高基于脑机接口下肢外骨骼的信号识别率,采用粒子群优化支持向量机(particle swarm optimization-support vector machine, PSO-SVM)算法提高脑电信号识别率,取得了86.52%的脑电信号识别率。首先建立共空间模式(common spatial pattern, CSP)数学模型对脑电信号进行特征提取,随后建立基于粒子群优化的支持向量机分类模型,优化脑电信号分类关键参数,将最终的实验数据与传统的支持向量机分类方法比较,最后进行算法的验证及下肢外骨骼实验。实验结果表明：经过粒子群优化的支持向量机分类准确明显高于传统支持向量机分类。所提出粒子群优化支持向量机对脑电信号的特征识别方法可实现运动想象(motor imagery, MI)的精确识别,为脑机接口技术在康复外骨骼领域的应用提供理论基础和技术支持。     

一种改进YOLOv3的手势识别算法

为了解决YOLOv3算法在手势识别中存在识别精度低及易受光照条件影响的问题,提出了一种改进的YOLOv3手势识别算法。首先,在原来3个检测尺度上新增加1个更小的检测尺度,提高对小目标的检测能力;其次,以DIoU代替原来的均方差损失函数作为坐标误差损失函数,用改进后的Focal损失函数作为边界框置信度损失函数,目标分类损失函数以交叉熵作为损失函数。结果表明,将改进的YOLOv3手势识别算法用于手势检测中,mAP指标达到90.38%,较改进前提升了6.62%,FPS也提升了近2倍。采用改进的YOLOv3方法训练得到的新模型,识别手势精度更高,检测速度更快,整体识别效率大幅提升,平衡了简单样本和困难样本的损失权重,有效提高了模型的训练质量和泛化能力。     

基于改进概率神经网络的手势动作识别

为寻找一种快速且高识别率的手势识别方法,提出一种基于改进的概率神经网络手势识别算法。该算法采用K-W检验方法实现sEMG（Surface Myoelectrogram Gestures）的特征选择,利用粒子群优化方法对传播率参数进行优化。在7种手部姿势识别的实验中,该算法平均正确识别率均在90%以上,而传统BP算法的正确率仅为85.7%。仿真实验结果表明,改进的概率神经网络算法具有更短的训练时间和更强的分类能力。