Windows环境下蒙古文复杂文本处理的研究

简要介绍了复杂文本和Uniscribe布局引擎,然后介绍一种基于Uniscribe的蒙古文Unicode文本的解释算法,解决Windows环境下字处理软件不支持蒙古文国际标准编码的问题.该算法具有较好的通用性,能够有效处理多种复杂文本语言,在蒙古文字处理软件MWord中的应用说明了该算法的有效性.     

蒙古文复杂文本布局引擎的标准符合性测试

以蒙古文编码国家标准的研制及其系统实现方面的工作为基础,针对蒙古文复杂文本布局引擎(CTL Engine)及其OpenType字库的系统结构,提出蒙古文复杂文本布局引擎的标准符合性测试(Conformance Test for Standards)方案,定义蒙古文复杂文本布局引擎的测试点及其测试实例,并以关键软件系统为依托测试和分析Uniscribe和HarfBuzz等支持蒙古文的复杂文本布局引擎。     

文本挖掘技术研究

文本挖掘是数据挖掘的重要内容之一,其应用十分广泛.对文本挖掘技术的基本概念和理论进行系统地归纳总结,首先给出了数据挖掘、文本挖掘和Web文本挖掘的基本概念及主要研究方向,然后分析了文本挖掘的过程和关键技术,最后对文本挖掘技术进行总结和展望.     

一种新的基于软集合理论的文本分类方法

文本分类技术是文本信息处理的核心技术之一,主要包括文本的向量模型表示、文本特征选择和分类器训练三大过程.本文提出了一种混合(EIBA+DHChi2)特征选择算法,并将所获取的特征作为软集合理论中的参数集进行文本分类,从而建立了一种新的基于软集合理论的文本分类技术.实验表明查准率与查全率比原有算法都有所提高,说明新的基于...     

藏文网页抓取及编码统一转换的系统研究

藏文文本资源的收集对藏语信息处理研究有着至关重要的作用.文章在分析国内外藏文网页主要编码方式的基础上,提出了藏文网页的编码识别、自动获取与过滤,文本编码统一转换的算法.系统主要包括网页编码识别网页、自动获取、文本过滤、编码转换等几个模块.在windows平台下对系统的测试结果良好,为藏语电子文本的收集和整理提供了方便、快捷的平台.     

关联规则算法在中文文本挖掘中的应用研究

本文介绍了关联规则的主要概念及关联规则的经典算法,并将关联规则算法应用于中文文本挖掘中,目的是通过计算文本特征词间的支持度、可信度关系了解文本间的关联关系.     

基于位置的发布/订阅索引结构

为了使空间文本数据的处理更加快捷准确,针对基于位置的发布/订阅提出了将R-tree与布尔表达式有效结合的索引结构TR-tree.TR-tree主要由文本索引与空间索引组成,其中文本索引根据订阅中谓词的数量和不同的关键谓词将空间文本数据进行订阅分组和谓词分组.文本索引中使用了操作符列表储存谓词,以达到避免重复储存谓词、减少内存使用的目的.空间索引根据关键谓词与谓词数量构建不同的R-tree,增强了空间修剪的性能.实验结果表明TR-tree具有高效的匹配能力与较好的内存管理性能.     

基于Hadoop的Web文本分类系统设计研究

针对传统Web文本分类方法无法解决大规模分类问题,在深入分析当前主流并行计算平台Hadoop的基础上,提出基于Hadoop的Web文本分类系统,该系统主要包括文本预处理、向量表示、文本分类、结果评价等模块.真实数据集上的比较实验表明所建系统的有效性.     

文本挖掘研究进展

数据挖掘是将人工智能技术和数据库技术紧密结合,让计算机帮助人们从庞大的数据中智能地、自动地抽取出有价值的知识模式,以满足人们不同应用的需要.由于存储信息最多的自然形式就是文本,因此文本挖掘具有重要的意义.结合笔者研究工作,主要介绍了文本挖掘的研究内容,挖掘过程,挖掘算法及应用前景.     

基于关联语义链网络的文本聚类方法

 基于关联语义链网络提出了一种自适应分裂的文本聚类方法. 该方法通过从关联语义链网络中检测出各个社团结构作为文本集中的类别, 以避免对聚类数目的预先确定. 同时, 针对高维稀疏的词向量导致的文本之间或文本与类之间相似性低的问题, 将关联语义链网络中词与词之间的关联关系映射到文本与类之间的关联关系中去, 以增强文本与类之间关系的强度. 通过与其他主要聚类方法进行实验对比, 发现该聚类方法不仅能够对文本集合进行准确的聚类, 而且能够较准确地确定聚类中心数目和识别出文本集中的话题信息.     

基于WT-BTC特征和SVM组合分类的场景文本检测算法

针对自然场景文本检测在复杂背景下虚警高的问题,提出利用小波变换(wavelet transform,WT)和方块编码算法(block truncation coding,BTC)相结合的方式(WT-BTC)表征文本纹理,并结合支持向量机(support vector machine,SVM)完成对候选文本区域的分类确认。算法首先利用边缘检测和启发式规则快速确定候选文本区域;然后对候选文本区域进行小波分解和BTC编码,提取水平、垂直、对角方向的WT-BTC纹理特征;使用三个SVM分类器分别对不同方向纹理特征学习训练,组合SVM模型实现候选文本区域的二次检测,确认文本区域。实验结果表明算法提高了文本区域检测鲁棒性,在复杂背景条件下对场景文本有较好的检测效果。     

基于边缘特征分析和线性判断的文本帧检测算法

为保证视频文本检测作用于含有文本的视频帧中,提出一种基于边缘特征和分量线性的文本帧检测算法。算法首先去除模糊视频帧,通过融合颜色和梯度信息以及文本聚类的方法得到边缘图,利用启发式规则滤除非文本分量;然后根据视频文本分量质心位置及最小外接矩形大小规律构建候选文本行;并结合文本行内字符结构特征定义线性关系。最后对候选文本行进行线性判断,若有候选文本行符合线性关系则将视频帧标记为文本帧。实验结果表明所提文本帧检测算法比其他类似算法检测性能更好。     

基于深度学习的任意形状场景文字识别

场景文字识别的一个具有挑战性的方面是处理具有扭曲或不规则布局的文字.尤其是侧视文字和曲线文字在自然场景中较为常见,且难以识别.本文提出了一个带有灵活矫正功能的注意力增强网络,将其用于任意形状场景文字识别.此网络由基于卷积神经网络的文字矫正网络和基于注意力增强的识别网络两部分组成.矫正网络自适应地将输入图像中的文字进行矫正,降低识别难度,使基于注意力增强的序列识别网络直接根据矫正后的图像预测字符序列.整个模型可以进行端到端的训练,训练只需要图像和相应的文字真实标签.在各种公开数据集上进行了广泛的实验,包括SVT、ICDAR 2003和CUTE80等数据集,验证了此网络具有优异的性能.     

一种面向博客群的主题倾向性分析模型

本文结合网络虚拟社会中舆情检索的实际需求,提出了一种面向博客群的主题倾向性分析模型.针对博客主题评论篇幅长短不一的结构特点,模型采用不同的文本倾向性处理方法：对于较长篇幅评论文本,分别统计目标评论中赞同、反对字符的倾向字符权重及其分布密度;对于拥有少量文字的主题评论,通过计算评论中字符倾向权重之和,实现评论倾向性评估.实验中通过构建面向“网络文化”的博客主题测试集,对模型的主题评论倾向性计算方法以及语义检索能力进行验证评估.实验结果表明模型具有较好的文本倾向性识别能力.     

一种增量式文本软聚类算法

针对传统文本聚类算法时间复杂度较高，而与距离无关的算法又不适用于动态、变化的文本集等问题，提出了一种基于语义序列的增量式文本软聚类算法．该算法考虑了长文本的多主题特性，并利用语义序列相似关系计算相似语义序列集合的覆盖度，同时将每次选择的具有最小熵重叠值的候选类作为一个结果聚类，这样在整个聚类的过程中大大减小了文本向量空间的维数，缩短了计算时间．由于所提算法的语义序列只与文本自身相关，所以它适用于增量式聚类．实验结果表明，算法的聚类精度高于同条件下的其他聚类算法，尤其适合于长文本集的软聚类．     

基于特征融合的中文文本情感分析方法

针对现有的中文文本情感分析方法不能从句法结构、上下文信息和局部语义特征等方面综合考量文本语义信息的问题,提出一种基于特征融合的中文文本情感分析方法.首先,采用Jieba分词工具对评论文本进行分词和词性标注,并采用词向量训练工具GloVe获取融入词性的预训练词向量;然后,将词向量分别作为引入Self-Attention的BiGRU和TextCNN的输入,使用引入Self-Attention的BiGRU从文本的句法结构和文本的上下文信息两个方面综合提取全局特征,使用TextCNN提取文本的局部语义特征;最后,将全局特征和局部语义特征进行融合,并使用Softmax进行文本情感分类.实验结果表明,本文方法可以有效提高文本情感分析的准确率.     

用于中文色情文本过滤的近邻法构造算法

从不良信息中最为普及的中文色情文本过滤入手,用近邻法(KNN)算法构造对比了4种特征项选择的方法在中文色情文本中的应用,它们分别是字、词、标点符号和词性等特征.试验表明,中文色情文本不同特征项的选择对中文色情文本的分类效果起到了重要的作用.实验同时表明,所设计的过滤器在保证速度的前提下,很好地完成了基于内容的高精度过滤.     

A New Fragile Watermarking Scheme for Text Documents Authentication

0 IntroductionDigital watermarkingis a technique toinsert a digital sig-natureinto ani mage sothat the signature can be extrac-ted for ownership verification and/or authentication. Robustwatermarks are generally used for copyright and ownershipverification,whilefragile watermarks are useful for authentica-tion and integrity attestation[1 ,2]. Afragile watermark pro-vides a guarantee that the digital data has not been tamperedwith and came fromthe right source,soit may be called au-thentication…