基于改进Faster R-CNN的自然场景文字检测算法

自然场景中的文字受光照、污迹、文字较小等方面的影响,其检测难度较大,且传统的检测方法效果不好。在研究目标检测方法Faster RCNN的基础上,提出一种针对自然场景文字的改进方法。改进的模型由卷积神经网络特征提取模块,嵌套LSTM(nested long short-term memory,NLSTM)模块和区域候选网络(region proposal network,RPN)模块3部分组成,改进点主要是卷积神经网络特征提取模块增加了不同卷积层的空间特征融合,能够提取多层次的特征;增加嵌套LSTM模块能够学习长序列文本的序列特征,便于检测不定长度的文本序列;RPN模块通过设置宽为8像素,高度不定的锚点(anchor),可以提取一系列可能存在的目标建议框,其对小目标文字效果较好?。在实验部分,通过对标准数据集(ICDAR 2013,Multilingual)的实验结果对比表明,所提出的改进算法在准确率和效率方面明显优于改进前的算法。通过实列测试,改进的模型对小目标文字检测效果也有所提升。     

基于EAST改进的任意方向场景文本检测

高效和准确的场景文本(efficient and accuracy scene text,EAST)检测算法速度快且结构简单,但是由于文本结构的特殊性,导致在检测中尺寸较小的文本会被遗漏,而较长的文本则完整性较差.针对EAST算法存在的问题提出一种新的自然场景文本检测模型.该方法利用自动架构搜索的特征金字塔网络(neural architecture search feature pyramid network,NAS-FPN)设计搜索空间,覆盖所有可能的跨尺度连接提取自然场景图像特征.针对输出层进行修改,一方面通过广义交并比(generalized intersection over union,GIOU)作为指标提升边界框的回归效果;另一方面通过对损失函数进行修改解决类别失衡问题.输出场景图像中任意方向的文本区域检测框.该方法在ICDAR2013和ICDAR2015数据集上都取得了较好的检测结果,与其他文本检测方法相比,检测效果也得到了明显提升.     

最大稳定极值区域与笔画宽度变换的自然场景文本提取方法

针对从背景复杂、视角多变、语言形式多样的场景图像中难以准确提取文本信息的问题,提出了一种基于最大稳定极值区域(MSER)和笔画宽度变换(SWT)场景文本提取方法。该方法结合MSER、SWT算法的优点,采用MSER算法的准确检测文字区域,建立文本候选区域,利用SWT算法计算文本候选区域笔画宽度得到候选文本区域的笔画宽度;根据笔画宽度图,利用连通域标记建立笔画宽度连通图,然后根据笔画宽度连通图,建立笔画连通图的启发性规则,删除非文本候选区域,并根据文本的几何特征分析及局部自适应窗口最大类间方差(Otsu)分割,有效提取出自然场景图像中的文本,文本提取的准确率、召回率及综合性能分别为0.74、0.64及0.68。仿真实验结果表明,在文本视角多变,字符大小、尺寸、字体各异的复杂条件下,所提方法具有较好的鲁棒性,适用于多语言和多字体混合的场景文本提取。     

Mask Text Detector:一种检测自然场景下任意形状的文本分割网络

近年来场景文本检测技术飞速发展,提出一种可适用于任意形状文本检测的新颖算法Mask Text Detector.该算法在Mask R-CNN的基础上,用anchor-free的方法替代了原本的RPN层生成建议框,减少了超参、模型参数和计算量.还提出LQCS(Localization Quality and Classification Score)joint regression,能够将坐标质量和类别分数关联到一起,消除预测阶段不一致的问题.为了让网络区分复杂样本,结合传统的边缘检测算法提出Socle-Mask分支生成分割掩码.该模块在水平和垂直方向上分区别提取纹理特征,并加入通道自注意力机制,让网络自主选择通道特征.我们在三个具有挑战性的数据集(Total-Text、CTW1500和ICDAR2015)中进行了广泛的实验,验证了该算法具有很好的文本检测性能.     

一种小波域内图像的文本信息提取算法

研究了基于小波变换的图像文本信息提取模型,提出了一种在小波域内提取图像文本信息的算法,该算法首先对图像进行二维小波变换,设置滑动窗扫描高频子带,计算滑动窗内图像的小波纹理特征,采用k-均值聚类算法提取文本区域,再对原图像进行边缘检测,根据文本区域的相关特征精确地定位文本区域,最后将文字与背景分离.从实验结果可以看出该算法能够较准确地从背景图像中提取出不同语种、字体、大小的文本信息.     

一种自动读取指针式仪表读数的方法

介绍一种基于机器学习和图像处理算法,针对自然场景中的指针仪表图片进行仪表检测和读数识别.首先,检测并提取出图像中恰好包含仪表的部分,再针对不同的图像中仪表存在大小的多尺度特点,使用图像金字塔方法对原图进行多次的缩小和放大操作.再使用固定大小的滑动窗口对缩放后的图像进行遍历,提取每个窗口图像HOG(Histogram of Oriented Gradient)特征,使用线性SVM(Support Vector Machine)分类器对窗口是否含有仪表进行判断.然后对检测得到的仪表图像,通过图像处理的方法进行图像预处理,减少阴影的干扰,获取梯度、边缘等信息,再结合改进的霍夫变换,结合仪表图像的灰度信息检测指针的位置,以计算指针的角度.最后,根据指针的角度以及量程信息,计算当前指针的读数.实验证明,该方法具有较好的稳定性与准确性.     

基于改进CTPN网络的电气铭牌文本区域检测

针对现有的文本区域检测网络对图像特征提取不充分,导致文本行间距过小或字间距过大的电气铭牌文本区域检测准确率低、误检率高,提出一种融合ResNet的改进CTPN算法用于电气铭牌文本区域检测.该模型在卷积神经网络模块中引入残差连接和并行卷积核操作,提升模型对铭牌图像提取特征的能力.在长短期记忆网络模块采用双向门控单元,降低模型训练难度.经实验验证,改进后的CTPN模型F值(F-measure)明显提升,对铭牌文本区域误检率显著降低.     

基于连通区域的标志牌文本提取方法

在对各种文本定位与提取方法分析比较的基础上,针对标志牌文本的具体特点,提出了一种基于连通区域的标志牌文本提取方法———在灰度图像中定位标志牌区域,二值图像中提取标志牌文本,并用VC 编程实现对采集的自然场景下的标志牌文本图像进行了实验,结果证明,该方法能够准确定位并提取自然场景下的标志牌文本,获得文本字符。     

自然场景图像中基于视觉显著性的文本区域检测

从自然场景图像中抽取文本信息有利于场景图像的内容分析.文中根据图像中文本通常在局部区域具有显著性的特点,提出多尺度包围盒视觉显著性模型,并利用该模型设计一种可以融合边缘和纹理信息的候选文本检测方法.首先在Lab颜色空间构造基于边缘和纹理信息的图像同质性,并利用它将图像映射到同质性空间;然后根据多尺度包围盒视觉显著性模型求Lab颜色空间的同质性均值图像;最后求同质映射图像与同质性均值图像的加权欧氏距离,将其作为显著性度量,以提取文本区域.自然场景图像的实验表明:与单纯利用边缘检测或同质性映射进行文本检测的方法相比,文中提出的方法能够更好地抑制背景的干扰,这有利于进一步将文本区域与背景剥离,进行更精确的文本定位.     

最大稳定极值区域与角点检测结合的医疗图像文本区域检测算法

医疗图像的文本区域检测在网络协同诊疗和医疗云的迅速发展中起着至关重要的作用。鉴于医疗图像相对复杂、文本字体太小而难以提取这一特殊问题,本文有针对性地提出了一种基于最大稳定极值区域算法与改进的角点检测算法相结合的医疗图像文本区域检测算法。该算法首先使用成分特征分析对最大稳定极值区域进行滤除,其次使用改进的SUSAN（Smallest Univalue Segment Assimilating Nucleus,最小核值相似区）角点检测算子对剩余最大稳定极值区域进行检测并滤除,最后将检测出的所有文本区域使用膨胀处理进行合并即可得到医疗图像的文本区域。实验结果表明,使用该算法提取出的医疗图像文本区域的准确率、召回率和综合性能分别为0.9、0.92和0.91,达到了理想的检测效果。