基于轻量化二维人体姿态估计的小样本动作识别算法

动作识别是近年来时序数据挖掘领域的研究热点,具有广泛的应用前景。但是现阶段基于深度学习的动作识别算法需要大量的标记训练数据集,存在泛化性差、实时性差、场景受限的问题。为解决这些问题,本研究设计一种基于轻量化二维人体姿态估计的小样本动作识别算法。该算法基于YOLOv5算法构建轻量化的人体检测器HYOLOv5。基于轻量化二维姿态估计模型Lite-HRNet设计人体姿态特征描述算子,有效地去除背景对人体动作特征的干扰。为有效度量时序人体姿态特征描述算子间的相似度,本研究提出基于动态时间规整的人体姿态特征距离度量,并在此基础上设计基于类别中心选择的动作模板匹配算法。该算法通过少量的动作视频构建动作特征模板库,利用动作模板匹配算法可实现多类动作视频的精准识别。为验证算法,本研究在COCO 2017的Humans数据集上对HYOLOv5进行测试,人体检测识别精度mAP@0.5∶0.95可达50.7%。基于10种动作视频数据进行测试,结果表明,本研究所提算法可有效地识别视频序列中的姿态,在每个动作仅包含4个训练数据的情况下,动作识别准确率均可达到91.8%。     

基于累积运动能量图像的人体动作识别

指出了动作识别中的最大困难是难以提取有效的特征来准确描述人体的动作,动作模板是众多方法中的一种简单有效的方法,用来描述动作特征的经典动作模板是运动历史图像.由于受噪声的干扰,用运动历史图像描述复杂环境下的人体动作并不十分理想.为了得到比运动历史图像更加有效的动作模板,提出了将视频序列中的运动能量信息用一张图描述出来,称之为累积运动能量图像,提取其直方图特征来表征人体动作.经You Tube数据集上的实验表明:该累积运动能量图像的识别率比同类方法高.     

融合形状和运动特征的动作识别计算模型

针对视觉系统在动作识别过程中如何利用形状与运动信息的问题,提出了一种融合形状特征和运动特征的人体动作识别方法.该方法模拟视觉皮层的背侧和腹侧通路,建立了基于双通道理论的人体动作特征计算模型.计算模型分别利用2D Gabor滤波器和3D时空滤波器模拟腹侧和背侧通路中视觉皮层简单细胞,提取动作的时空信息,通过采样、局部遍历、模板学习一系列操作分别提取动作的时空特征,并采用线性融合方法获取描述动作的特征向量,构建了采用支持向量机(SVM)进行动作分类的动作识别系统.实验结果表明:该方法的识别性能优于同类型的识别方法,取得了较好的识别效果.     

人体动作姿态的自动识别方法研究

提出了一种人体动作姿态的自动识别算法,用运动历史图像和运动能量图像分别表示动作姿态发生的区域以及动作姿态发生的过程,并从中提取出改进的不变矩作为特征向量进行人体动作姿态的自动识别,实验结果表明,该算法显著地提高了人体动作姿态的识别效率.     

基于新型十字-菱形搜索的块匹配算法

指出了块匹配算法是运动估计的有效方法，搜索模板的类型、大小很大程度上影响了搜索的效果，对运动向量的分布进行了深入研究，提出了以新型非完全对称的搜索模板为基础的十字-菱形搜索算法，该算法以十字搜索模型对小运动矢量进行搜索，而使用非完全对称菱形对大运动矢量进行搜索．理论分析和实验表明：新十字菱形算法和原有的十字菱形算法相比，其搜索的速度可以提高20％左右．     

基于多尺度时空特征的篮球场景中人体姿态估计

人体姿态估计是计算机视觉领域的研究热点之一,目标是从给定的图像或视频中识别人体的关节.由于篮球比赛视频中人体动作复杂多变,易产生运动模糊、遮挡等问题,导致现有的人体姿态算法对篮球动作姿态估计的准确率较低.针对这一问题,提出了一种基于多尺度时空关联特征的篮球动作姿态估计算法,构建基于Transformer的人体时序特征捕捉模块对序列层级的时空特征信息进行建模,以缓解运动模糊、遮挡等现象带来的负面影响.此外,针对人体外形复杂多变的问题,提出了基于可形变卷积的人体空间特征残差融合模块来获取更为充分的空间特征.与现有算法相比,该算法在自行构建的篮球场景人体运动数据集、姿态估计公开基准数据集PoseTrack2017和PoseTrack2018均取得较好的效果.     

基于运动块及关键帧的人体动作识别

为了进行动作识别,需要提取能够充分表征动作的运动、时间、空间及形状信息的特征.本文首先从动作的运动特性出发,采用基于图聚类的方法对人体的运动区域进行分割,并通过计算运动块的熵值选出由运动方向一致的运动点构成的运动块.通过建立混合高斯模型对运动块的时空三维位置及运动方向进行特征表示,得到运动描述符.同时,通过比较前后帧中运动块的变化提取关键帧,然后基于词袋框架进一步筛选关键帧,并采用梯度直方图对动作的形状信息进行特征表示,得到形状描述符.通过线性组合运动描述符及形状描述符,得到充分包含动作的运动、时间、空间及形状信息的联合描述符,并采用最近邻分类器进行动作识别.该算法在KTH和UCF运动数据集上较当前方法取得更好识别效果.     

基于视觉词袋和三角函数法的动作识别

为了能够更为迅速与准确地对交警指挥等已知动作进行识别,提出了一种将人体特征点的运动轨迹三角函数化后用视觉词袋进行识别的方法.该方法通过将人体运动肢体的端点定义为特征点后,将特征点的空间位置与时间的关系看作是一组三角函数曲线,用不同的正弦公式的组合代替特征点的运动轨迹,以提取特征;同时此算法利用视觉词袋法,提取人体动作时的特征子通过金字塔模型与视觉词袋词典中的特征进行匹配,再通过抽象隐马尔科夫模型实现动作的预测,从而能够自适应地识别出动作.实验结果表明该算法在针对多个动作时优于传统算法.     

非刚性人体运动动作图像姿态轮廓提取算法

针对人体运动动作图像提取传统方法仅能获取局部最佳解, 提取的特征序列不连续, 导致轮廓提取效果差的问题, 提出一种非刚性人体运动动作图像姿态轮廓提取算法. 首先, 对人体运动动作图像序列中的尺度不变特征变换(SIFT)进行提取预处理, 获取人体特征提取图, 设计一种人体运动序列顺序概率图模型, 以保证特征序列提取的连续性; 其次, 构建人体肢体外观模型, 基于该外观模型采用序列影像高精度轮廓提取算法提取当前人体运动动作帧的轮廓线. 实验结果表明, 该算法能提取连续的特征序列, 提取的人体姿态轮廓精确度较高, 且具有较高的效率和鲁棒性.     

Kinect骨骼数据驱动的人体动作二维特征融合与动作识别

针对在高噪声环境中人体动作识别存在准确度和稳定性不高的问题,本文采用二维空间特征融合的方法,提出一种基于Kinect骨骼数据的人体动作识别算法。从人体三视图的投影来提取运动特征,可以消除人体自遮挡的影响。针对人体复杂动作,算法采用分层策略。利用Kinect获得的骨骼关节点坐标,根据人体三视图投影提取二维空间的人体关节角特征,并运用支持向量机(SVM)方法对动作进行粗分类;进一步提取二维投影平面内的关节位置矢量、角速度和加速度特征,运用隐马尔可夫模型(HMM)的方法对动作进行细分类。利用本文方法对公开数据集MSR Action 3D实验,平均识别率达93.37%,实验结果表明,该方法准确性较高,鲁棒性较强。     

一种结合深度信息的人体行为识别方法

针对现有的人体行为识别方法中易受到噪声、光照以及复杂背景等因素的影响,同时,未充分考虑到人体交互区域的作用。提出一种结合普通彩色视频和深度信息的人体行为识别方法。首先,对于识别中提取人体运动目标时,利用深度图中物体表面法向量提取运动目标的边缘;同时结合加权累计帧差法获取运动模板。其次,结合深度连续性提取非人体区域(人体与动作的交互区域)并进行描述,作为人体行为表示的一部分。最后利用支持向量机(support vector machine)进行训练和识别。实验部分在CAD-120数据集中测试,通过与一些现有的人体行为识别方法相比较,动作识别准确率提高了5%左右。     

车牌识别技术的研究与实现

在车牌自动识别系统中,因自然因素或采样因素使得原本规则的印刷体字符产生畸变,给字符识别带来了很大困难.考虑到识别的实际应用及实时性要求,采用改进的模板匹配方法先将字符细化,再结合字符的全局特征,与模板的特征矢量进行匹配,误差最小的作为识别结果.实验结果表明,该算法具有较高的识别率及较好的抗噪性能,能够实现较好的车牌识别效果.     

邻香兰素分子模板聚合物结合作用及选择性研究

 以邻香兰素为烙印分子,α-甲基丙烯酸为功能单体,乙二醇二甲基丙烯酸酯为交联剂,采用分子烙印技术合成了1类新的分子烙印聚合物.研究了它们的吸附特性及选择性识别能力.结果表明,与组成相同的非模板聚合物相比,模板聚合物有一定的吸附性能和选择性.     

一种基于波系数的雷达目标识别新方法

提出一种基于波系数的目标识别新方法, 此方法把目标响应表达成一系列波模的叠加, 波系数具有目标特异性, 因此可用作目标识别的特征矢量。这些波系数虽然与照射方向有关, 但是选取恰当的频率范围, 则波系数对角度的敏感性会大大降低, 目标模版数据库存储量会大大减少。在识别过程中可以大致预估目标的姿态角, 然后选择部分模版数据库与未知目标系数相比较, 可有效缩短目标识别时间。最后对4个二维目标进行了数值模拟, 取得了理想的识别效果, 证明了此方法的有效性。     

基于单向投影矢量的数字电子稳像方法

为了减少计算量，进行实时稳像，提出了一种基于单向投影矢量进行运动估计的数字稳像方法．把匹配块像素灰度值向水平或垂直方向投影，形成一个原始矢量；对参考图像的搜索区进行投影，形成多个同样维数的矢量．构建一个参考矢量矩阵；比较原始矢量与参考矢量矩阵中的每个矢量之间的差分．找到最佳匹配点．在构建矢量时，绑定像素的位置信息，以降低误匹配，并运用快速搜索法找到矢量间的最小绝对差分．对该算法的运算量进行优化，在PC机上实现了实时稳像．     

通用矩阵与矢量模板类的分析与应用

基于面向对象技术定义了矩阵和矢量两种模板类,利用运算符重载实现了矩阵,矢量和数之间的常规运算,对于具有不同特性的矩阵,采用了节省的贮存方式,并实现了不同贮存方式下矩阵相互之间的计算,表明所建立的模板类具有通用性,所开发的代码可重复利用率高,而且易于维护和扩充。     

EGCG分子印迹壳聚糖膜的制备及性能研究

利用分子印迹技术,以壳聚糖为功能基体,表没食子儿茶素没食子酸酯(EGCG)为模板分子,硫酸为交联剂,制备了EGCG分子印迹壳聚糖膜,并探讨了平衡吸附时间、pH值、温度及功能单体和模板分子的比例等因素对印迹膜吸附性能的影响.SEM和AFM测试结果表明印迹膜的表面形貌不同于非印迹膜;同时用红外光谱分析了印迹分子的洗脱情况.平衡结合法实验结果表明,印迹膜对EGCG具有较好的亲和性和选择性.Scatchard分析表明,印迹膜在识别EGCG的过程中存在1类结合位点,其平衡结合常数K为4.046,最大吸附量Qmax为49.52mg·g-1.     

连续性健美操动作图像视觉误差校正方法分析

为了解决传统方法校正后图像容易出现模糊或锯齿效应,视觉误差校正效果不好的问题,研究了一种新的连续性健美操动作图像视觉误差校正方法。通过JAI相机(丹麦)逐行扫描电荷耦合器件(CCD)相机转换成视频信号,得到的信号通过图像采集卡采集,转化成PC机可处理的数字信号,通过全息投影获取连续性健美操动作图像。按照视觉误差完成对图像像素集视差函数的配准,通过向量量化技术实现对图像的亚像素级模板匹配,对经处理的连续性健美操动作图像进行分形编码处理,为视觉误差校正提供依据。对连续性健美操动作图像进行编码和解码处理,求出和原始图像间的误差,获取误差图像,对其进行插值处理,获取误差补偿结果,实现连续性健美操动作图像视觉误差校正。结果表明:经所提方法处理后的图像无显著的视觉误差,峰值信噪比和结构相似性很高。可见所提方法主观和客观评价结果好。     

MPEG-2视频渐变切换时的自适应运动估计算法

在数字电视非线性编辑中,淡入淡出和划像是最常采用的视频渐变切换方式.提出了一种通过利用输入MPEG-2码流中的运动矢量信息,估算出切换过程中视频图像的准最佳运动矢量,从而实现快速渐变切换的算法,并基于该算法设计出非线性编辑系统.实验结果表明,本文算法与以往算法相比,计算量大大减少,而图像质量则有了明显的提高.     

基于多个伪随机序列调制的视觉脑机接口研究

传统的基于编码调制的视觉脑机接口(BCI)使用一种编码及其移位来调制不同的视觉目标,限制了目标数的增加,因而限制了系统的信息传输率。基于两种不同类型的三个伪随机序列调制实现了一个48个刺激目标的BCI系统。采用两个不同的Golay码和一个近完美序列对目标进行调制,使得每个码的自相关特性和每个码之间的互相关特性都很好,大大提高了刺激目标数。通过模板匹配法对训练数据进行分类识别获得了很高的识别准确率,并和一类支持向量机方法进行了比较。选取了8个受试者进行了实验膜板匹配法的平均识别准确率达到93.49%,证明了这是一种提高刺激目标数的好方法。