撬开脑洞,手套不止用来暖手!

正"你认为手套只能用来暖手?那你就OUT了!帮助聋哑人交流、帮助盲人识路、打电话、听音乐……还可以帮你做更多!"聋哑人的福音一个叫Quad Squad的团队设计出一款专门为聋哑人打造的智能手套。该款手套配备一台智能手机,可以识别聋哑人的手语,并将它转换成语音让正常人识别,另一方面可以将正常人的语音转换成文字让聋哑人阅读。     

基于Lab VIEW和二维码技术的手语教学系统

手语是聋哑人日常交际、表达感情与交流思想的重要工具。由于拥有手语翻译证书的特教师资相对匮乏,聋哑学校无法满足较多聋哑人接受良好教育的需求。如果能让更多无手语基础的教师参与到聋哑学校的教育教学中,就能很好解决这一矛盾。因此,在教学过程中,在无手语基础的执教者与渴望接受教育的聋哑学生之间急需性价比高的手语"翻译官"。基于Lab VIEW和二维码技术的手语教学系统经过前期的研究与测试表明,具有较好的应用性能。它可以通过系统功能的逐步优化和数据库的不断完善,最终实现动态手语识别。与传统手语识别系统相比,其具有成本低廉、使用便捷、易于推广等优点。     

手语手套

美国科研人员最近研制出一种高科技智能手套,能够把美国手语中各种手势“翻译”成常人所能理解的语言文字,以帮助聋哑人     

基于嘴部特征的聋哑人情感识别方法

针对聋哑人在手语交流过程中,手部经常会遮挡面部五官,无法使用针对健听人的基于五官特征的情感计算方法来识别聋哑人的情感状态这一难题,提出一种聋哑人情感识别方法.该方法首先利用肤色信息从聋哑人面部图像中提取出嘴部区域,然后对提取到的嘴部区域进行腐蚀与膨胀运算,接着计算出嘴部区域特征值,并与训练样本中不同情感类型所对应的嘴部区域特征值进行比较,从而确定出聋哑人情感.实验结果表明,本文方法能快速准确地进行聋哑人情感判断.     

你知道吗

中国人讲中文，英国人讲英文，中国人的手语和英国人的手语有没有分别？中国聋哑人用中国手语可不可以和美国聋哑人士沟通呢？     

基于聋哑人音乐魅力感知的按摩椅设计分析

聋哑人想要感受到音乐的律动,和普通人通过耳朵感受,是存在感受差别的,因此聋哑人的音乐律动的感受,可以通过身体的震动进行间接的感知。当前通过按摩椅来实现聋哑人对于音乐的魅力感知是一种十分有效的模式。该文着重基于聋哑人音乐魅力感知的按摩椅设计分析,首先分析了聋哑人音乐魅力感知的重要性,其次是按摩椅对于聋哑人音乐魅力感知的作用。通过以上分析确定按摩椅对于聋哑人音乐魅力感知的设计需求。最后制订出产品的最终设计方案,确定按摩椅对于聋哑人音乐魅力感知的设计功能实现,通过律动功能的实现、VR投放功能的实现、中控中心功能的实现以及设计成果的相关指标,形成最终的有效产品。     

科技文摘

会说话的手套最近,美国斯坦福大学的两位专家研制了一种手套,聋哑人戴上它做手语时,这种手套就能把手语变成说话声。这种手套有三部分组成:第一部分是手套本身,在每个指头的顶部装着一个微型传感器,第二部分是微型扩音器,它一般别在上衣口袋上,第三部分是微型电脑。     

基于彩色-深度图像的手语识别算法

手语作为表达信息的一种方式,是聋哑人与外界交流的最主要途径。随着人工智能技术的发展,新型、自然、便捷的人机交互方式已经成为当今各行业交互方式的新趋势。传统手语识别方法普遍存在背景干扰严重、特征提取不完整及识别准确率低的缺点。针对以上问题进行研究,提出基于彩色-深度(RGB-D)图像的手语识别算法。在静态孤立词手语识别的基础上测试。实验对比结果表明,基于RGB-D的方法能得到比传统手语识别算法更好地性能;利用深度信息处理图像,有效地去除了场景中光照、背景的干扰,同时结合肤色信息去除非手形部分;采用概率神经网络(PNN)手语分类器对孤立词的识别准确率超过90%,取得了较高的识别率。     

基于RGB-D图像的手语识别算法研究

手语作为表达信息的一种方式,是聋哑人与外界交流的最主要途径。随着人工智能技术的发展,新型、自然、便捷的人机交互方式已经成为当今各行业交互方式的新趋势。传统手语识别方法普遍存在背景干扰严重、特征提取不完整及识别准确率低的缺点。针对以上问题进行研究,提出基于彩色-深度（RGB-D）图像的手语识别算法。在静态孤立词手语识别的基础上测试,实验对比结果表明,基于RGB-D的方法能得到比传统手语识别算法更好地性能;利用深度信息处理图像,有效地去除了场景中光照、背景的干扰,同时结合肤色信息去除非手形部分;采用概率神经网络（PNN）手语分类器对孤立词的识别准确率超过90%,取得了较高的识别率。     

一种用于手语识别的新型数据手套

介绍一种新型的用于手语识别的数据手套,这种数据手套与当今广泛应用的CyberGlove型号的数据手套相比,增加了新型的接触传感器,有效地利用了汉语手语中大量的接触信息,具有价格便宜、更适合中国手语的特点和识别精确度高等优点,将之种数据手套应用于新型汉语手语识别系统,与视觉部分相结合,可以更准确地识别汉语手语词汇。     

面向手语识别的视频关键帧提取和优化算法

基于计算机视觉的手语识别技术可以为聋校的双语教学带来很大的便利,而手语识别技术的难点之一在于视频关键帧的提取.根据手语视频关键帧的特点和手语者的手语习惯,提出了一种面向手语识别的视频关键帧提取和优化算法.首先利用卷积自编码器提取视频帧的深度特征,对其进行K-means聚类,在每类视频帧中采用清晰度筛选取出最清晰的视频帧...     

浅析"手语"的语言特性和运用

"手语"是一种特殊的语言结构。作为一种语言,它是聋人学习、生活和社会交往的重要工具。同时,手语也是当今语言学家研究的一个新的领域。本文拟从手语的语言性特征、含义与表达方式以及手语的研究价值作一个粗浅的探讨。     

一种用于手语识别的中国手语分类方法

从手语识别的角度出发对中国手语的特征进行了分析,对现有的手语识别方法－－基于计算机视觉的方法和基于佩带式输入设备的方法进行了分析和比较,并提出了一种新的手语分类方法。     

聋人手语的语言学阐释

聋人手语是聋人的一种特殊的语言。本文从语言的内容和形式、建筑材料和结构规则四要素对聋人手语进行语言学的阐释,以促使聋人手语更科学、更规范。     

基于全局注意力机制的汉语手语词翻译

针对使用卷积神经网络结构结合循环神经网络结构的模型在手语翻译任务中难以关注到手语视频序列中关键帧的问题,提出了一种结合全局注意力机制的手语翻译模型.该模型在长短时记忆网络中嵌入全局注意力机制,通过计算当前隐藏状态和源隐藏状态之间的相似度并得出对齐向量,让模型学习对齐权重,使模型关注到长手语视频序列中的关键帧,从而提升模型翻译的准确率.实验结果表明：加入全局注意力机制的模型在DEVISIGN＿D数据集上的准确率优于3DCNN、CNN+LSTM等主流模型,并且在100分类的短手语词和长手语词数据集上,分别与未使用注意力机制的模型进行了对比,其准确率提升0.87%和1.60%,证明该注意力机制可以有效地提升模型翻译的准确率.     

台湾手语双语绘本阅读教学在听觉障碍融合班级之实施成效

阅读是听障教学亟待突破的瓶颈。目的:探索融合情境下,手语双语绘本阅读教学的成效,并比较听障学生与其同班同学在识字、阅读理解方面的表现。方法:实验组采用平衡取向的台湾手语/中文双语绘本阅读教学,以另一听常班级学生为对照组,由学生自由进行绘本的持续性默读,时间为14周。结果:无论是手语双语绘本阅读教学或持续性默读都能提升学生的识字与阅读理解表现,两种方法的成效差异没有达到统计上的显著性。结果说明:加入手语的双语教学方案,可以让学生在不妨碍阅读学习的情况下,多学一种语言。一年级的听障学生识字进步量比同班听常同学的平均成绩高。另一名三年级听障学生在识字、阅读理解的进步量方面也高于同班听常同学。     

基于轻量3D CNNs和Transformer的手语识别

针对传统基于3D CNNs(三维卷积神经网络)的手语识别方法模型计算复杂度和内存占用较高,及基于RNNs(循环神经网络)的连续手语识别方法的长距离建模能力不足的问题,提出一种基于轻量3DCNNs和Transformer的手语识别方法．首先使用轻量3D CNNs进行孤立词手语识别的时空建模,然后提出RKD(随机知识蒸馏),从多个教师模型中提取知识以提高轻量三维卷积的特征提取能力;针对连续手语,在特征提取后使用完全基于自注意力的Transformer进行全局建模．实验结果表明：所提方法在CSL-500和CSL-continuous数据集上可以获得95.10%的识别率和1.9的WER(词错误率),证明了所提方法的有效性．     

基于视觉的手语识别及其分类

手语是人们在聋人环境中使用手的姿势、动作、位置和朝向,配合面部表情、按照一定的规则来表达特定语义的交际工具。本文分别从基于词根的手语识别方法,基于视觉的手语识别方法和基于中国手语单手词汇的识别方法对两种手语分类的方法进行了论述。     

基于Kinect的中国手语识别

基于微软Kinect提取的深度图像信息,提出了一种新的中国手语识别方法。该方法首先利用Kinect获取人体主要骨骼的3D坐标和手的3D坐标;然后根据中国手语的手型、手的位置和手的方向3个主要构造成分,分别采用DBSCAN和K-means聚类算法获取手语特征中的手的位置基元和方向基元,提出一种结合CLTree和Attribute bagging聚类集成方法提取手型基元;最后将这3类基元进行组合采用模板匹配方法识别中国手语。通过对选取的72个中国手语进行识别实验,平均识别率为90.35%,实验结果说明了方法的可行性。     

手语神经机制的研究回顾及展望

系统介绍了近年来手语加工的脑损伤以及脑成像研究,重点阐述了如下几个问题: 1)手语基本情况介绍;2)研究手语神经机制的2种角度--脑损伤角度和脑成像角度;3)手语理解和产生的神经机制;4)手语研究中有待于进一步解决的关键问题.