基于ARM+FPGA异构平台的目标检测加速模块设计与实现

为解决基于深度学习目标检测模型规模大、在边缘设备上难以部署的问题, 以YOLO目标检测模型为例, 设计实现基于ARM+FPGA异构平台的目标检测加速模块。该系统使用剪枝、量化后的压缩模型, 在FPGA实现神经网络前向推理加速, 在ARM中实现加速器调度。实验结果表明, 部署至Xilinx ZCU102开发板上, 该模块在200 MHz工作频率下, 平均计算性能达到425.8 GOP/s, 推理压缩模型速度达到30.3 fps, 模块功耗为3.56 W, 证明该加速模块具备可配置性。     

山东省沿岸海域海洋垃圾分布、组成和变化特征

海洋垃圾主要包括海面漂浮垃圾、海滩垃圾和海底垃圾。根据2011~2015年的调查资料,分析了山东省8处典型近岸海域海洋垃圾的分布、组成和变化特征。结果显示:山东省海滩垃圾数量密度为87 557个/km~2,质量密度为1 255.52 kg/km~2;大块/特大块漂浮垃圾数量密度为58个/km~2;中块/小块漂浮垃圾数量密度为4 515个/km~2,质量密度为51.25 kg/km~2;海底垃圾平均数量密度为800个/km~2,质量密度为220.56 kg/km~2。海洋垃圾数量以塑料类最多,约占总量的54.16%。海洋垃圾来源以人类海岸活动的海洋垃圾数量最多,约占77.09%。山东省沿岸海域海洋垃圾除海滩垃圾质量密度外,其余各监测项目均高于中国东部沿海海域(ECS)监测数据水平。     

基于轻量化深度学习网络的数字仪表识别

数字式仪表常用于变电站、工厂等生产环境,是一种直观的设备监测仪器。然而当前数字式仪表的读取方式还依赖于人工巡检,手动记录等,这些传统的巡检方式来监测设备的运行状态大大降低了巡检效率。为了实现传统行业的数字化转型,本文提出基于轻量化深度学习的数字仪表识别方法,通过改进的YOLOv5的目标检测框架,针对数字仪表目标区域在整张图片大小不一致的情况,提出对于感兴趣区域（ROI）的迭代目标检测方法,首次检测将感兴趣区域进行检测并切割统一到相同的尺度,随后迭代检测网络针对感兴趣区域内的字符进行检测并分类,以达到精确读数的目的。为提升多尺度检测性能,本文采用Res2Net模块主干网络中的的残差模块。采用GIoU取代通用的IoU作为位置损失函数加速模型训练效果的收敛。实验表明,改进后的框架实现了99.62%的准确率和99.55%的召回率,相比基线网络分别提升了12.72%和5.85%。通过将框架在边缘计算平台上的终端部署,在实际生产中取代了人工巡检,实现了商业化运行。     

基于YOLOv5的轻量化交通标志检测方法

针对目前交通标志检测深度学习网络模型体积大、参数多,难以满足在计算资源有限的移动设备和嵌入式设备中部署的问题,提出一种基于YOLOv5的轻量化交通标志检测模型。该模型利用GhostNet思想重新建构YOLOv5网络,同时在特征提取层引入坐标注意力机制(coordinate attention, CA),并将原边框损失函数CIOU替换为SIOU,最后使用NVIDIA的加速推理框架TensorRT对改进模型加快推理速度。在CCTSDB2021交通标志数据集中验证了改进模型的可行性,实验结果表明,改进模型较于原模型,模型大小减小了53.5%,参数量压缩了50%,而精度仅损失0.1%,且模型推理速度提升了2%;经过TensorRT加速推理后,推理速度甚至提升了57.4%,达到了4 ms。改进模型实现了模型的轻量化,精度损失小,推理速度快,相比原模型更适合部署到嵌入式移动设备中。     

基于逻辑回归的中文在线评论有效性检测模型

为了实现电子商务和社交网络中文在线评论有效性的自动化检测,提出了一种单一主题环境下基于逻辑回归的垃圾评论检测模型.中文在线评论有效性的检测可以归结为分类问题,结合中文在线评论的特点提取了9个特征以构建分类模型;为获取核心特征主题的相关度,采用基于关联规则的评论名词模式优化了ICTCLAS中文分词系统的主题识别,进而利用交叉语言模型获取在线评论主题相关度.实验中采取了人为标定的1 000条评论作为样本,把支持向量机分类模型作为对比进行试验,利用数据挖掘工具Weka进行计算.结果表明,采用优化评论名词模式下基于逻辑回归的垃圾评论检测模型结果的准确率达到83.54%,比支持向量机分类模型计算得到的准确率高2.10%.     

基于MLP神经网络的优化跌倒检测模型研究与实现

该文以多层感知器（Multilayer Perceptron,MLP）神经网络模型为基础,提出了一种高效快速的跌倒检测多层感知模型（Fall Detection Multilayer Perceptron,FDMLP）。该模型基于公开的姿态数据集进行特征强化和标签分类,得到特征值数据集进行训练;通过学习率范围测试确定初始学习率的上下边界值,设置学习率随迭代数次进行指数衰减优化训练过程采用全整数量化的优化策略,将量化后的模型部署到嵌入式设备的Flash中,实现低功耗、高准确率的边缘计算。实验结果显示该文提出的FDMLP神经网络跌倒检测模型在使用特征数据集时候的准确率达99.99%,优于其他同类模型,且结构简单,适合部署在边缘设备上。     

基于VPU加速的嵌入式实时人脸检测系统设计与实现

智能设备高昂的设计费用和庞大的计算资源需求成为在便携式、低功耗设备上实现深度学习算法及其应用的主要障碍.文中基于树莓派平台,借助Intel的视频处理器(V PU)低功耗加速模块,设计并实现了基于残差特征提取模块CNN模型的实时人脸检测系统.结果表明,相较于单纯使用树莓派CPU进行计算,文中方法在视频流中检测人脸和人脸关键点提取的实验中分别实现了18.62倍和17.46倍的加速,在便携式设备中实现快速、实时、在线的人脸检测和特征点提取成为现实,同时为使用便携式、低功耗设备运行深度学习算法提供了一种确实可行的方案.     

面向端到端目标检测神经网络的高效硬件加速系统设计

针对神经网络目标检测系统在硬件资源受限与功耗敏感的边缘计算设备中应用的问题,提出了一种基于现场可编程门阵列（FPGA）实现的YOLOv3-Tiny神经网络目标检测硬件加速系统. 利用网络结构重组、层间融合与动态数值量化,缩减YOLOv3-Tiny网络规模. 基于通道并行与权值驻留硬件加速算法、紧密流水线处理流程与硬件运算单元复用,提升硬件资源利用效率. 所设计的端到端目标检测加速系统被部署在UltraScale+ XCZU9EG FPGA上,达到了96.6 GOPS的吞吐量与17.3 FPS的检测帧率,功耗为4.12 W,并具有0.32 GOPS/DSP与2.68 GOPS/kLUT的硬件资源利用效率. 在保持高效准确目标检测能力的同时,硬件资源利用效率优于其他已有的YOLOv3-Tiny目标检测硬件加速器.      

移动边缘网络中深度学习任务卸载方案

为了缓解网络带宽的压力、降低网络延迟,克服移动设备资源匮乏等问题,推动深度学习应用在移动终端的部署,提出一个基于移动边缘计算的深度学习任务卸载方案。基于深度神经网络专用加速芯片Eyeriss的架构,对深度学习任务的计算功耗进行建模,提出了一个基于混合l_1/l_2范数诱导的三阶段组稀疏波束成形(group sparse beamforming, GSBF)框架,通过对计算任务优先级的精心设计,尽可能地删除基站端冗余的计算任务,实现对整体网络功耗(包括发送功率损耗和计算功率损耗)的优化。针对该框架,提出了一个加速优化方案。仿真实验表明,在该场景下,所提出的框架在优化整体网络功耗方面具有显著优势,而加速算法可以进一步提升框架的性能。     

基于改进的Yolo v3模型的设备状态检测方法

提出一种基于改进的Yolo v3模型的设备状态检测方法,以实现精准的信号灯检测. 工作流程为:(1)通过图像采集设备获取信号灯图像并预处理;(2)通过改进的Yolo v3模型进行信号灯检测.其中改进的Yolo v3模型增加了特征图的加权融合步骤,提高了对小目标检测识别的性能.实验结果表明, 相比于原始Yolo v3模型,采用改进的Yolo v3 模型进行信号灯检测识别时能够取得更高的交并比,同时,模型的召回率和精度也有相应提升.     

基于视觉的水面垃圾清理机器人目标检测算法

针对中小型水域漂浮垃圾清理困难问题,通过分析水面图像的特点,提出基于视觉的水面机器人垃圾检测方法。首先使用Mean-shift滤波平滑算法,在保持目标边缘的基础上尽可能平滑波纹的干扰;然后使用基于色差灰度模型与改进的OTSU阈值法分割出水面目标,能有效地抑制水面光照不均和水面倒影的问题;接下来采用先闭运算后开运算的形态学处理,填充小孔、消除孤立噪声点;最后计算各目标对象的质心坐标,最小外界矩,对目标进行标记,进为机器人的进一步动作提供依据。实验结果表明该方法能够较好地克服水面复杂环境影响,快速、准确地提取出水面的漂浮垃圾。     

日照典型岸滩海滩垃圾污染分布状况与年际变化特征

海滩垃圾对海岸带生态系统健康以及岸滩景观价值会产生明显的负面影响。为了掌握日照海滩垃圾的种类、组成、丰度、来源、年际变化等特征,2020年6月对日照典型岸滩进行了海滩垃圾调查取样与研究。结果显示：塑料类垃圾是日照典型岸滩海滩垃圾的主要组成成分(53.46%),规格尺寸以中块垃圾为主(82.39%),日照典型岸滩海滩垃圾平均数量密度为10.18万个/km²,质量密度为211.27 kg/km²,低于多数文献报道中的国内外海滩垃圾丰度水平。对日照典型岸滩海滩垃圾来源进行统计,来源于人类海岸活动的海滩垃圾数量最多(48.43%),其次为吸烟用品(22.64%),约91.19%的海滩垃圾来源于陆地,部分调查区域的烟蒂类垃圾存量相对较高,应采取措施加以防范。日照海滩垃圾丰度水平总体较低,2009—2020年12年间的海滩垃圾丰度均值(数量密度和质量密度)低于中国以及山东省海滩垃圾监测区丰度平均水平。     

天然气三甘醇脱水装置数字孪生系统

数字孪生可以实现物理空间与数字空间之间的映射和交互,在工业领域展现出巨大的发展前景。针对天然气脱水性能参数检测效率低和气站工艺参数无法在线优化的问题,将数字孪生应用于化工行业,构建了三甘醇（triethylene glycol, TEG）脱水装置数字孪生系统的整体框架。结合物理设备建立了孪生系统的几何模型,并基于物理数据实时驱动建立了脱水系统工艺流程模型,最后,通过虚实映射模型完成物理空间和数字空间的映射,最终建立脱水装置的孪生模型。该模型可实现物理设备与虚拟设备的并行运行。通过提出的数字孪生系统,能够实现对天然气水露点等脱水性能参数的实时预测;以低能耗为目标,通过孪生模型中的优化算法,可实现对脱水工艺参数的在线优化,提升经济效益。     

基于计算机视觉的自然图像自动线描系统

介绍一种自然图像的自动线描算法,使计算机能模拟人类素描绘画的过程.该系统包括线描提取及线描渲染两步骤.在线描提取过程中,采用一种综合低层及中层视觉信息的边缘检测方法提取线描,在传统边缘检测结果基础上,根据计算机视觉理论对边缘进行精简及连接等处理;在线描渲染过程中,采用尺度、亮度等特征作为渲染画刷的属性,对边缘曲线进行拟合后采用纹理映射等非真实感渲染的方法产生线描图像.实验结果表明:基于计算机视觉理论的自动线描方法切实可行,线描提取结果优于传统边缘检测结果,能很好地体现线描图像的艺术效果.     

基于非参数统计的综合孔径图像弱小目标检测

针对综合孔径微波辐射图像中目标和复杂背景的边缘振荡对目标检测带来的影响,提出一种基于非参数统计的弱小目标检测方法.在对综合孔径辐射图像特征进行研究的基础上,采用非参数统计中的秩统计量描述图像中目标及复杂背景边缘的过渡纹理,给出综合孔径辐射图像的非参数统计描述模型,利用目标及复杂背景边缘各方向秩相关系数不同的特征,将目标与复杂背景有效地分离,实现对复杂背景的抑制和目标检测.仿真及实验结果表明该方法能有效地对综合孔径辐射图像中的弱小目标进行检测.     

改进的几何活动轮廓演化及其在目标跟踪中的应用

为提高几何活动轮廓分割算法的分割效率和准确性,设计了新的边缘检测与跟踪算法.首先采用矢量图像计算图像的梯度值,并设计能够自适应调整阈值的边缘指示函数,进而提出改进的变分水平集演化模型;然后设计基于该改进模型的边缘检测算法,并在无迹卡尔曼滤波器框架下设计了运动目标的跟踪算法.实验结果表明,文中算法不但显著地提高了轮廓演化模型的灵活性和收敛速度,而且对阴影、遮挡、目标形变和背景干扰等具有较好的鲁棒性.     

基于边缘检测与码本模型的运动目标检测算法

传统的码本模型能够快速完整的检测出运动目标,但检测出的运动目标边缘不准确,同时易受到阴影的干扰。针对这一问题,本文提出了基于边缘检测与码本模型的运动目标检测算法。该算法在码本模型提取运动目标的基础上,利用基于YCrCb色彩空间的阴影去除算法消除阴影;然后根据Canny边缘检测算子和形态学闭运算获取运动目标的边缘轮廓。将阴影去除得到的运动目标与边缘检测得到的边缘轮廓进行“与运算”,得到最终的运动目标。经过实验仿真,本算法能够提取边缘轮廓准确和完整的运动目标, 同时能有效的抑制噪声。     

基于在线学习判别性外观模型的多目标跟踪算法

在基于检测的跟踪框架下,设计了一种在线学习的判别性外观模型并应用于多目标跟踪.对检测器输出的相邻帧间检测响应做保守关联,生成短小可靠的轨迹片;利用目标轨迹时空域约束条件,从轨迹片中提取训练样本及特征;采用Adaboost算法在线生成目标外观的判别性模型,计算轨迹片之间的外观相似度;最后采用匈牙利算法,经过多次迭代得到每个目标的完整轨迹.对实验结果做了定量和定性分析,结果表明:所设计的算法提高了跟踪精度,在复杂场景下能够较好地完成多目标跟踪任务.     

基于卷积神经网络和混合注意力机制的书标检测算法

为实现图书馆中机器人智能排架,提出一种基于卷积神经网络和混合注意力机制的书标检测模型。将DenseNet121引入YOLOv4以提高特征和梯度之间的传递效率,利用SPDC模块实现局部和全局特征融合,进而通过通道和空间混合注意力提高模型的特征表征能力。实验结果表明,模型的平均准确率、整体性能、参数量和模型大小均优于对比方法,且易于部署到嵌入式设备中实现在线检测,从而提高图书乱架治理的智能化水平。     

基于Jetson-TX2的输电线路设备实时巡检系统

针对输电线路及设备巡检效率低的问题，设计了一种基于Jetson-TX2的输电线路设备实时巡检系统。该系统包括基于YOLO v3算法的Jetson-TX2主控模块和云台相机控制模块。Jetson-TX2主控模块通过TensorRT加速库，对YOLO v3算法模型进行优化加速，完成视频流目标实时识别与定位；采用 PID算法控制云台(PTZ)相机，实现设备的高清图像采集。该系统对输电线路设备整体识别准确率达95%，可实现对视频流的实时检测，有效提高输电线路巡检效率。