一种融合视觉和听觉信息的双模态情感识别算法

语音信号和面部表情是人们表达情感的主要途径,也被认为是情感表达的两个主要模态,即听觉模态和视觉模态.目前情感识别的研究方法大多依赖单模态信息,但是单模态情感识别存在信息不全面、容易受噪声干扰等缺点.针对这些问题,提出一种融合听觉模态和视觉模态信息的两模态情感识别方法 .首先利用卷积神经网络和预先训练好的面部表情模型,分别从语音信号和视觉信号中提取相应的声音特征和视觉特征;然后将提取的两类特征进行信息融合和压缩,充分挖掘模态间的相关信息;最后,利用长短期记忆循环神经网络对融合后的听觉视觉双模态特征进行情感识别.该方法能够有效地捕捉听觉模态和视觉模态间的内在关联信息,提高情感识别性能.利用RECOLA数据集对提出的方法进行验证,实验结果证明基于双模态的模型识别的效果比单个的图像或声音识别模型更好.     

基于视频图像的面部表情识别研究综述

面部表情识别是机器理解人类情感的前提,是改善人机交互关系的关键。首先,按照视频图像中面部表情识别的流程,综述了表情识别的3个阶段:人脸检测、表情特征提取、表情分类。重点介绍了表情特征提取和表情分类中所采用算法的原理、优缺点及应用场合,并给出了部分算法的识别率对比结果。其次,对人机交互中的微表情识别及表情识别的鲁棒性研究也做了介绍。最后总结了面部表情识别研究中存在的问题及难点,探讨了该领域值得进一步研究的问题。     

基于空时注意力网络的面部表情识别

基于视频序列的面部表情识别问题主要有两个特点:空时性和显著性。近年来,许多研究人员利用卷积神经网络、循环神经网络、三维卷积神经网络等深度学习方法处理该问题的空时特性。但是,面部表情的显著性问题却往往被忽视。随着注意力机制在深度学习网络中的应用发展,其能够有效地解决各类任务中的显著性问题。该文将空时注意力机制应用到面部表情识别中,使得深度网络更多地关注空时特征中的显著性。具体地,该文将空间注意力模块嵌入到卷积网络中,以使空域特征更加关注对表情识别重要的区域,将时间注意力模块嵌入到门控循环单元(gated recurrent units,GRU)后,使得时域特征更加关注信息丰富的视频帧。在RECOLA情感数据库上的实验表明,与一般的深度模型相比,该文的深度空时注意力网络显著提高了面部表情识别的性能。     

多民族人脸和眼动情感数据库的构建

多民族情感计算和识别研究有利于分析和理解不同民族之间情感表达的差异性,而不同民族之间的情感分析和识别研究需要以多民族情感数据作为数据基础。利用情感诱导视频等方式采集人的面部表情和眼动数据,建立了包含5个民族6种基本表情的多民族情感数据库。其中包含11328幅表情图片和196个眼动轨迹信息。实验过程中对图像和数据文件名构建编码规则,对取得的表情图片数据进行灰度化、人脸关键部位截取等图像处理,同时提取眼动仪记录的眼动数据,将表情图片及眼动轨迹信息进行整理,进而组成多民族情感数据库。该数据库的建立对多民族情感识别和智能人机交互领域的发展起到一定促进作用。     

基于表情及姿态融合的情绪识别

情绪识别指在使计算机拥有能够感知和分析人类情绪和意图的能力,从而在娱乐、教育、医疗和公共安全等领域发挥作用.与直观的面部表情相比,身体姿态在情绪识别方面的作用总是被低估.针对公共空间个体人脸分辨率较低、表情识别精度不高的问题,提出了融合面部表情和身体姿态的情绪识别方法.首先,对视频数据进行预处理获得表情通道和姿态通道的输入序列;然后,使用深度学习的方法分别提取表情和姿态的情绪特征;最后,在决策层进行融合和分类.构建了基于视频的公共空间个体情绪数据集(SCU-FABE),在此基础上,结合姿态情绪识别数据增强,实现了公共空间个体情绪的有效识别.实验结果表明,表情和姿态情绪识别取得了94.698%和88.024%的平均识别率;融合情绪识别平均识别率为95.766%,有效融合了面部表情和身体姿态表达的情绪信息,在真实场景视频数据中具有良好的泛化能力和适用性.     

基于PC的卫星数字电视广播系统的MPEG-II解码

由于卫星数字电视广播(DVB-S)系统接收数据量大,对实时性稳定性要求高,利用PC机实现DVB-S系统中MPEG-II全软件解码是一个挑战性的课题。该文提出了软解压的系统层多线程安排、缓冲区管理、视频音频同步等方案;同时对视频解码在Windows系统下针对提高运行速度的种种优化方法,如使用SIMD(single instruction multi-da-ta)技术的MMX(microprocessor media extension)、SSE(streaming SIMD extension)优化及对高速缓存的优化进行了比较深入的研究与实践;简单介绍音频解码和使用Di-rectSound8播放音频。该方案已在目前的主流配置PC机上成功接收数10套数字电视节目,并经过长时间测试,播放效果良好流畅,是一种便于推广的实用方案。     

基于PC的卫星数字电视广播系统的MPEG-Ⅱ解码

由于卫星数字电视广播(DVB-S)系统接收数据量大,对实时性稳定性要求高,利用PC机实现DVB-S系统中MPEG-Ⅱ全软件解码是一个挑战性的课题.该文提出了软解压的系统层多线程安排、缓冲区管理、视频音频同步等方案;同时对视频解码在Windows系统下针对提高运行速度的种种优化方法,如使用SIMD(single instruction multi-data)技术的MMX(microprocessor media extension)、SSE(streaming SIMD extension)优化及对高速缓存的优化进行了比较深入的研究与实践;简单介绍音频解码和使用DirectSound8播放音频.该方案已在目前的主流配置PC机上成功接收数10套数字电视节目,并经过长时间测试,播放效果良好流畅,是一种便于推广的实用方案.     

基于语义维度的人脸表情生成

为实现有丰富表现力的人脸表情生成,提出一种基于语义维度的人脸表情生成方法。首先定义了与人类情感、态度、意图等情态信息相关的7个语义维度,对表情图像进行语义维度标注;进而对面部器官的典型状态进行量化,定义并提取人脸局部状态参数。分别采用线性回归和人工神经网络方法,建立了语义维度与人脸局部状态参数的映射模型。实验结果表明:基于语义维度的方法能够生成与文本语义相贴切的人脸表情,神经网络模型在参数预测精度和主观感知评价方面均优于线性模型。     

面部表情语略说

人们在动嘴说话时,动作、表情、姿势等非言语交际手段便会辅助自然语言进行交际。本文略说非言语交际的一个小类———面部表情语的有关情况。面部表情语主要包括目光语、眉语、微笑语、脸色等,它是人们传情达意的重要辅助工具。人的表情丰富复杂,可以传达细腻微妙的情感内涵,面部表情语的运用和观察在日常言语交际中起着不可忽视的重要作用。     

基于改进随机森林分类器在RGBD面部表情上的应用研究

面部表情识别是机器感知人类情绪变化的重要途径.利用面部RGB图像可以进行表情识别,但是容易受到光照变化影响,而且较难刻画细微表情变化.对采用RGBD面部图像识别6种基本面部表情(高兴、悲伤、愤怒、沮丧、恐惧以及惊讶)进行研究.首先利用深度图像鲁棒地检测面部;然后在面部灰度图像中检测并跟踪二维面部标记点,并添加对应的深度信息构造深度面部几何特征,从而有效识别细微表情变化;最后利用基于特征选择的随机森林分类器对不同面部表情进行识别.基准数据库上的对比实验结果表明本文算法的表情识别准确率高于主流基于手动提取特征的面部表情识别方法,接近基于卷积神经网络的识别算法性能.     

古代中国的文化编码自觉——以《周易》为例

文化符号学视野中的中国文化大传统具有高度的文化编码自觉性.《周易》中包含了一套完整的文化编码与解码程序,不仅深刻揭示出中国传统文化发生的过程及原理,也说明古代中国的文化编码活动在先秦时期就已进入自觉状态.“卦爻象”作为文化编码和解码的关键,主要遵循“立象尽意”的思维原理,正是它确立并强化了中国文化的“象”思维特征.     

基于和积算法的汉明码迭代译码性能分析

现代高效纠错码采用了迭代译码，极大地提高了系统的纠错性能，因此用迭代译码对汉明码译码系统进行了设计，并且用因子图与和积算法等现代编译码理论对汉明码的迭代译码过程进行了理论分析。实验结果表明，在加性高斯信道下，在误码率为10^-2时，汉明码迭代译码较古典译码仿真结果大概提高了3dB，同时，汉明码的迭代译码方式与最佳的枚举译码方式的性能相当，但译码复杂度有显著下降，这使得迭代译码在汉明码中的实际运用具有重要价值。     

基于Turbo编译码方案的BPSK系统性能研究

在介绍Turbo码编、译码原理的基础上，建立一个典型BPSK通信系统模型。将Turbo码与其它编码方式分别运用于该系统模型，通过Matlab仿真，研究、分析了系统在不同编译码方式下的误比特性能。仿真结果表明，Turbo编译码方案在差错控制和纠错方面性能明显优于目前广泛应用的卷积码及其它线性分组码。在误比特率达到10^-5时。Turbo码的编码增益比其它编码方式高出1．5dB以上。     

两种在频域编译RS码的方法

本文讨论了利用快速傅立叶变换(FFT)编译RS码的技术,并在此基础之上独立地提出了两种在频域编译RS码的方法.在这两种方法的实现中,译码只需要进行一次傅立叶变换,因而大大加快了译码速度,并减少了运算量.     

基于数据编解码的时空交通流预测方法

针对路网的拓扑信息不完整而无法实现时空结合交通流预测的情况，提出了一种基于时间序列预测模型联合数据编解码机制的预测方法。对路网内路段交通流数据进行编码得到路网信息的链状结构，以此获取路网结构中的拓扑信息；通过时序模型对链状结构进行交通流预测，完成对链状结构的时序特征提取；最终，通过解码方法得到路网的时空交通流预测结果。采用GPS数据，选取不同路网进行对比实验，引入数据编解码的时空交通流预测方法与时间序列模型进行比较，并且与基线模型HA和ARIMA展开了对比实验。实验结果表明：深度学习模型引入数据编解码机制后，模型性能明显提升；引入数据编解码机制的深度学习模型的性能比基线模型的性能更优越。该方法仅仅使用简单的时间序列深度网络再联合数据的编解码机制即可实现时空结合的交通流预测。     

TD-SCDMA系统中ASN.1编译码器的设计和实现

为了解决传统ASN.1(abstract syntax notation one)编译码工作中存在的缺陷,根据TD-SCDMA中ASN.1编译码原理,提出利用编译器自动生成工具another tool for language recognition(ANTLR),设计了一个ASN.1描述代码的编译器,实现从ASN.1源代码到CSharp(C#)语言数据结构的映射,其中包含完整的编译码所需信息,且便于访问。通过调用独立的编译码算法函数,从数据结构中提取相应的参数完成编译码。实际应用表明该编译系统减省了繁复的人工翻译描述代码工作,提高了ASN.1编译码的效率和准确率。     

矩阵编码的遗传算法

针对遗传算法在求解矩阵运算的优化问题时,会出现编码过长或编码、解码复杂的现象。提出一种新的矩阵编码方式,同时也详细给出在矩阵编码下的交叉算子、变异算子和解码公式,可有效地解决编码过长和编码、解码复杂的问题。矩阵编码的遗传算法既可以保持二进制编码的交叉和变异的灵活性,又能适合于矩阵优化计算。     

一种RS码与LDPC码的交织迭代编译码方案

为了提高通用战术数据链的信道纠错能力,同时降低编译码时延,设计了一种RS码与LDPC码的交织迭代编译码方案。该方案通过RS码与LDPC码的交织编码,有效提高码字相关性;通过RS码硬判决译码和联合迭代软译码相结合,能在保证译码性能前提下降低译码时延。仿真结果表明,该方案在一定译码时延下,明显提高译码性能。     

中国文化的编码与解码自觉——序《中国灯谜年鉴》

从文化符号的编码和解码角度研究谜语（灯谜）活动,将其视为图像之谜和文字之谜以后出现的三级编码.谜语创作和解谜,体现着符号编码和解码的自觉意识,对于重新解释文字记述小传统具有一定的示范意义.谜语的出现,要上溯到一级至二级编码.从解画谜到解字谜,再到解谜语,谜面和谜底之间的隐喻思维贯穿着大小传统的全过程.汉字作为象形字,本身包含着形音义的编码关系.从训诂学家的《尔雅》《说文解字》,到民间流传不衰的测字术,无不植根于这类符号解谜的活动.宇宙之间最大的谜是“天命”,从观风水到辨别玉石,从佩戴玉礼器到甲骨占卜和算卦看相,华夏早期知识人完全沉浸在解码天命或神意的现实需求中.藉此打通的视野,可从不同角度审视文化文本的多元编码.     

脉冲测距系统中编、译码的软件实现

提出了采用软件编程的方法实现对脉冲测距系统中脉冲数目、脉冲宽度和脉冲间隔的编、译码的方案，以三脉冲的编、译码为例，阐述了具体的实现过程，对程序进行了仿真验证，并对软件实现编、译码的特点进行了分析。