一种基于FPGA的通用卷积神经网络加速器的设计与实现

针对卷积神经网络中算子众多、网络结构变化迅速的特点，本文提出一种基于现场可编程门阵列(FPGA)的较为通用的卷积神经网络(CNN)加速器，可适应多种应用需求、达到较好的加速效果。该加速器采用专用的CNN指令集，可通过软件编译网络来生成指令，控制硬件灵活地实现多种网络的推理工作。在设计上，该加速器有如下几个特点：第一，采用状态握手的控制方式，让各个模块能够并行执行；第二，对FPGA的DSP进行拆分，成倍的提高计算资源；第三，通过片上RAM乒乓的方式，进一步减少MAC等待的时间，提高利用率；第四，采用类脉动阵列的形式，让工程的时序更加收敛，主频进一步提高。另外，本文还对第1层卷积以及平均池化等特殊算子，进行特殊支持来进一步提升运行性能。本文在Xilinx Kintex-7 XC7K325T FPGA上进行了实验，核心加速引擎可工作在200 MHz,卷积MAC阵列峰值算力为0.8TOPS,能效比达到63.00 GOP/(s·W)。对于YOLO V2网络，它的平均MAC利用率为91.9%;对于VGG16网络，它的平均MAC利用率为73.5%。     

基于深度卷积神经网络和支持向量机的手势识别算法

为了提高手势识别的准确率,提出一种基于深度卷积神经网络和支持向量机的手势识别算法;将包含手势的图像进行手掌轮廓分割及手指关节特征提取,经过去噪后获得准确的手势图像,然后通过卷积与池化获得手势特征样本,采用神经网络算法对输入特征样本进行训练,并对全连接层各节点的输出结果进行支持向量机多元分类,从而获得手势识别结果;在差异化设置条件下,通过对比手势识别的平均准确率和识别时间,可获得最优的卷积核尺寸及池化方法。仿真实验结果表明,相比其他3种识别算法,所提出的算法具有更优的识别准确率。     

基于改进知识一致性注意力的图像修复算法

为有效解决修复大面积不规则洞孔出现的纹理模糊、结构失真等问题,提出了基于改进知识一致性注意力机制图像修复算法．首先使用部分卷积对待修复图像进行处理,随后将处理的特征图送入包含混合空洞卷积(HDC)与改进知识一致性注意力机制(KCA)的特征推理模块．推理完成后将输出特征图输入至部分卷积与特征推理模块进行循环推理,逐步提升网络的修复能力,循环完成后对输出图像进行特征合并．最后将合并特征图进行去残差瓶颈层以增强修复图像的结构完整性．提出模型使用组归一化方式(GN)加快损失函数收敛速度．在公开数据集上验证提出算法的性能,主客观实验结果表明：提出算法能有效修复大面积连续不规则区域,能够较好地避免修复失真,其峰值信噪比和结构相似度及运算速度优于对比算法．     

基于Transformer改进的两分支行人重识别算法

针对基于卷积神经网络的行人重识别算法全局信息建模不足的问题，分析了卷积操作的局限性，提出一种基于Transformer改进的全局-局部两分支行人重识别算法.首先利用相对位置编码改进多头自注意力机制，并将其嵌入到Resnet50骨干网络中.之后在全局分支中对图像进行空间几何划分并利用Transformer的全局感受野增强抽象特征的提取能力；在局部分支中对Layer＿3输出进行降维监督，利用多尺度池化获得更丰富的局部特征.实验结果表明，该算法在公开数据集Market-1501和DukeMTMC-reID上的mAP/Rank-1分别达到了93.45%/95.61%和88.79%/90.35%,相对于单纯基于卷积神经网络的算法，本文算法达到更高的精度.     

基于重选择流形排序的图像检索

在研究已有基于流形排序图像检索算法存在问题的基础上,提出一种基于重选择流形排序的图像检索算法,此算法可以在节约时间的同时,进一步提高检索结果的精度,并在实际图像数据库中的实验结果验证了此算法的有效性.     

基于Sobel算子的池化算法设计

池化算法是卷积神经网络中用于特征降维、参数压缩、扩大感受野的重要一层。针对现有的池化方法没有充分考虑到池化前特征图的整体内容及风格特征分布问题,提出了一种通过Sobel算子对卷积后的特征图计算每个特征点的梯度值,并根据梯度值分布确定每个池化窗口取最大值、均值或者最小值的池化算法。该算法充分考虑了特征图池化前后的整体内容及风格特征分布,保持了特征图的整体不变性。实验表明,该池化算法在VGG、ResNet等经典网络架构上取得了优异性能,具有普适性,可用来替代常用的最大池化、平均池化。     

基于卷积神经网络的葡萄叶片检测

为解决酿酒葡萄生长状态的在线自动监测问题,该文提出了一种基于卷积神经网络的葡萄叶片检测算法。通过多层卷积的方式产生特征图,使原图像的特征增强并且降低了图像噪声,在最后一层特征图中,通过使用RPN(Region proposal network)生成建议区域,然后进行池化操作,最后进行边框回归与分类。该算法在有叶片遮挡、光照阴影、病害叶片等复杂背景因素下对葡萄叶片有良好的检测效果。试验表明,该算法在复杂背景下对葡萄叶片的检测率为87.2%,误检率为7.2%。     

基于卷积神经网络的粗粒度数据分布式算法

针对特定运行模式下粗粒度数据存在计算效率较低的问题, 提出一种基于卷积神经网络的数据分布式算法. 首先构建用于粗粒度数据处理的卷积神经网络模型, 给出模型基础连接层神经元网络的连接结构和权重比例, 并训练和池化粗粒度数据; 然后利用训练池化结果求解模型的最小损失函数, 提升模型针对粗粒度数据的分布式计算能力. 实验结果表明, 在单机和集群模式下, 卷积神经网络模型具有更好的计算效率和数据泛化能力.     

基于卷积神经网络的粗粒度数据分布式算法

针对特定运行模式下粗粒度数据存在计算效率较低的问题, 提出一种基于卷积神经网络的数据分布式算法. 首先构建用于粗粒度数据处理的卷积神经网络模型, 给出模型基础连接层神经元网络的连接结构和权重比例, 并训练和池化粗粒度数据； 然后利用训练池化结果求解模型的最小损失函数, 提升模型针对粗粒度数据的分布式计算能力. 实验结果表明, 在单机和集群模式下, 卷积神经网络模型具有更好的计算效率和数据泛化能力.     

基于卷积神经网络的低分辨雷达目标一步识别技术

现有低分辨雷达目标识别通常采用先特征提取、再进行目标分类的两步识别算法,存在识别率难以提高和方法泛化性不足的问题,因此提出了一种基于卷积神经网络(CNN)的低分辨雷达目标一步识别算法。该算法直接将采样数据作为输入,利用设计的一维CNN,通过卷积池化等操作自动获取数据深层本质特征,无需特征提取,实现对目标的一步识别。仿真实验结果表明:基于CNN的低分辨雷达目标一步识别方法的识别率较传统基于提取特征的两步识别方法提高了10.31%,识别时间较传统两步识别方法减少了0.142 s,充分证明了一步识别方法的有效性,为低分辨雷达目标识别问题提供了新的解决途径。     

轻量化神经网络和哈希跟踪算法在嵌入式人脸抓拍系统中的应用

针对嵌入式设备上难以兼顾人脸抓拍的速度和准确率的问题, 基于轻量化神经网络和哈希 (Hash) 跟踪算法设计了一种快速精准的嵌入式人脸抓拍系统. 首先, 对轻量化网络 MobileNet 固态硬盘 (solid state disk, SSD) 剪枝和优化网络结构构建人脸检测网络; 其次, 人脸对齐后基于均值哈希 (average Hash, aHash) 与感知哈希 (perceptual Hash, pHash) 设计融合哈希 (fusion Hash, fHash) 算法跟踪人脸, 使用关键点欧氏距离、人脸尺寸和四方向 Sobel 算子三标准提取最佳的人脸图像; 最后, 使用 MobileFaceNet 对最佳人脸进行识别. 实验结果表明: 与 MobileNet SSD 相比, 该人脸检测算法速度提升了 22.6%; 与均值哈希和感知哈希算法相比, 该融合哈希算法匹配准确率提高了 21.7% 和 10.1%; 实际场景中系统人脸抓拍准确率超过 95%, 抓拍速度达到 28 帧/s.     

基于SSD的改进目标精定位检测算法

目标检测问题是计算机视觉中的热门问题,如何提高目标检测定位精度是检测过程中面临的一个难题。在SSD算法的基础上,通过结合选择性搜索算法,提出了一种提高检测定位精度的方法。该算法首先通过SSD算法框架对图像进行目标初始检测,获得目标粗略位置和目标类别,然后采用一种改进的选择性搜索算法对目标所在区域进行选择性搜索,生成目标边界候选框,最后采用文中提出的边界判断方法得到目标精确位置,完成由粗到精(Coarse-to-Fine)的目标定位检测。文中算法对PASCAL VOC2012数据集中的22 531张图像进行了测试,实验结果显示文中算法检测目标中心位置误差7.6,平均覆盖率90.8%,相比于其他算法,中心位置误差更低,覆盖率更高,能提高目标检测定位精度20%～30%。     

一种基于深度学习的高速无人艇视觉检测实时算法

针对高速无人艇自主航行时对视觉检测的实时性以及由于水面场景变化和波浪反射等干扰的鲁棒性需求,提出一种基于深度学习的高速无人艇视觉检测实时算法.采用基于MobileNet的神经网络快速提取全图特征,设计SSD结构的检测网络融合各层特征图的结果以完成快速多尺度检测,并在嵌入式GPU NVIDIA Jetson TX2硬件平台上将算法实现并验证.结果表明,该算法能够实时检测多类水上特定目标,具有鲁棒性强、多尺度的特点,单帧视频的检测时间可以控制在50 ms以内.      

面向端到端目标检测神经网络的高效硬件加速系统设计

针对神经网络目标检测系统在硬件资源受限与功耗敏感的边缘计算设备中应用的问题,提出了一种基于现场可编程门阵列（FPGA）实现的YOLOv3-Tiny神经网络目标检测硬件加速系统. 利用网络结构重组、层间融合与动态数值量化,缩减YOLOv3-Tiny网络规模. 基于通道并行与权值驻留硬件加速算法、紧密流水线处理流程与硬件运算单元复用,提升硬件资源利用效率. 所设计的端到端目标检测加速系统被部署在UltraScale+ XCZU9EG FPGA上,达到了96.6 GOPS的吞吐量与17.3 FPS的检测帧率,功耗为4.12 W,并具有0.32 GOPS/DSP与2.68 GOPS/kLUT的硬件资源利用效率. 在保持高效准确目标检测能力的同时,硬件资源利用效率优于其他已有的YOLOv3-Tiny目标检测硬件加速器.      

基于语义分割注意力与可见区域预测的行人检测方法

为改善图像中遮挡和小尺寸行人的检测精度，提出一种基于语义分割注意力和可见区域预测的行人检测方法.具体地，在SSD(single shot multi-box detector)目标检测网络的基础上，首先优化SSD的超参数设置，使其更适于行人检测;然后在主干网络中引入基于语义分割的注意力分支来增强行人检测特征的表达能力;最后提出一种检测预测模块，它不仅能同时预测行人整体和可见区域，还能利用可见区域预测分支所学的特征去引导整体检测特征的学习，提升检测效果.在Caltech行人检测数据集上进行了实验，所提方法的对数平均缺失率为5.5%，与已有方法相比具有一定的优势.     

基于非递归迭代投影的实时深空目标检测算法

针对深空目标信噪比低、干扰多、传统方法无法检测准确性低的问题,提出一种基于非递归迭代投影的快速实时深空目标检测算法.该算法采用由粗到细的检测流程,首先根据图像特征自适应确定迭代投影次数提取所有疑似目标,然后通过邻域判决对目标进行轨迹关联剔除虚假目标,从而实现目标的准确检测.此外,为了提高算法的实时性,针对FPGA并行流水的特点,利用非递归编程架构对算法进行优化,提高了算法的并行度和运行效率.在SOPC硬件平台上的实验表明,该算法能够准确实时检测深空目标,对悬浮实验的圆满成功起到了决定的作用.      

基于SSD卷积网络的视频目标检测研究

针对传统卷积神经网络对远距离视频目标识别效果差的原因,本文提出一种改进的基于SSD卷积网络的视频目标检测模型.首先,对数据集进行剪裁,旋转等预处理,提高网络检测泛化能力,其次,采用coco数据集Mobilenet_SSD预训练模型,由于其具有轻量级网络模型特点,减少计算开销,减少内存占用量.然后,再结合voc2012数据集进行二次训练微调处理,加快训练收敛速度,使用自定义数据集能有效检测特定场景目标,能够有效识别远距离场景下视频目标物体.实验结果表明,改进的网络检测模型适用于远距离目标检测,减少计算量,降低硬件内存资源消耗,提高网络模型性能和检测精确度,具有较好的鲁棒性.     

基于背景更新的运动车辆检测算法研究

在基于视觉的智能交通系统中,运动车辆的检测是最基础也是最关键的步骤。目前运动车辆检测中最常用的方法是背景差分法。该算法的关键在于背景图像的获取,由于背景图像的动态变化,为了有效的对车辆进行检测,需要对背景进行实时更新。因此,提出了一种新的基于像素点灰度值变化的自适应更新背景的算法,该算法在背景变化的情况下,能实时地修正或更新当前背景图像,再结合差分法与阈值化分割出完整的运动目标。通过实验证明了算法的有效性和实时性。     

基于clear-SSD的单点多盒飞机目标检测天气适用性

目前遥感影像目标检测算法大多针对良好天气,一旦出现雾霾,则必然影响检测效果。为使目标在良好天气或雾天条件下均能有较优的检测精度,提高模型适用性。以飞机检测为例,提出一种基于影像处理的clear-SSD单点多盒目标检测模型。该模型在SSD检测算法前增加了影像处理算法,即先对待检测的遥感影像进行清晰化处理,再通过SSD检测算法提取影像中的飞机。比较不同清晰化算法对检测精度的提升效果,选择适用性最优的算法作为模型前端,备选清晰化算法包括暗通道、高斯同态滤波及线性同态滤波,研究表明,三种清晰化算法对精度均有改善,其中高斯同态滤波的适用性最优,平均检测精度达到0.9843,比原始SSD模型提高了0.043,因此,将高斯同态滤波作为clear-SSD模型的影像处理部分。     

基于USRP2平台的高效NC-OFDM系统设计

为了能将认知无线电的理论研究与实物研究较好地结合在一起,基于USRP2平台设计并实现了一个NC-OFDM认知无线电传输系统,给出了系统的软硬件设计详细流程和关键问题的解决方案,并针对NC-OFDM系统的特殊性提出了一种将传统算法和修剪算法相结合的快速有效的FFT自适应处理算法。软硬件仿真结果表明,本系统能够在USRP2平台上成功实现无线通信的数据传送与接收,提出的算法可以有效缩短数据处理时间,提升数据传输的鲁棒性,改善系统的整体性能。