基于静态路由分组胶囊网络的文本分类模型

近年来,随着胶囊网络的广泛研究,其在图像、语言等领域取得了重大进展.但胶囊网络存在参数多、训练时间长的缺点.分组反馈路由机制是一种称为分组路由的监督路由策略,该策略将胶囊平均地分成若干组,胶囊局部共享转换权重,从而减少路由参数和计算复杂度,在图像分类领域取得较好效果.本文将胶囊分组方法运用于文本分类任务中,再引入胶囊压缩、静态路由机制,提出了一种新的文本分类模型CapsNet GSR.该模型通过胶囊分组在提取文本局部信息的同时减少参数,利用胶囊压缩和静态路由机制,进一步提高胶囊质量、降低参数数量.在20 news文本分类数据集上的实验证明,其在参数数量和训练时间上有明显减少.在AG’s news、TREC和20 news数据集上的实验表明,该模型在准确率上也有所提高.     

融合对抗训练和胶囊网络的食品安全关系抽取模型

为解决食品安全领域关系抽取数据集体量小且关系种类复杂,普通网络模型无法充分进行特征学习的问题,提出了一种融合对抗训练（Adversarial Training）和胶囊网络（Capsule Network）的食品安全领域关系抽取模型GAL-CapsNet。该模型使用双向长短期记忆网络提取文本序列的全局特征,并通过胶囊网络的动态路由机制获取高层次的局部特征,具有较强的特征提取能力,同时在嵌入层加入对抗训练提升模型的鲁棒性,从而有效提高了关系抽取任务的效果。在本文所用的食品安全领域数据集上的实验结果显示：对比其他深度神经网络方法,GAL-CapsNet在关系抽取任务中的精确率、召回率和F1值均有明显提升,分别达到了85.91%、82.82%、84.33%,证明了模型在食品安全领域数据集上的有效性。     

基于多尺度卷积的胶囊网络知识图谱嵌入模型

该文基于胶囊神经网络出色的维度信息挖掘能力,加入多尺度卷积以进一步增强其特征提取和交互能力,提出了基于多尺度卷积的胶囊网络知识图谱嵌入模型.首先,通过TransE算法训练得到实体和关系的初始化嵌入向量;其次,通过多尺度卷积生成不同的特征图,将得到的特征图进行特征融合,融合后得到的特征图重组为相对应的胶囊;最后,利用动态路由指定从第一层胶囊到第二层胶囊的连接,经过路由得到的第二层胶囊利用squash函数得到最终向量长度,该向量长度决定三元组的置信度.知识图谱链接预测任务的实验结果表明,较嵌入模型CapsE,本文提出的模型在WN18RR数据集上指标Hit@10提高1.8%,MRR提高1.4%,在FB15k-237数据集上Hit@10提高2.2%,MR提高4.8%.     

基于预训练模型和图神经网络的藏文文本分类研究

在少数民族语言信息处理领域，由于文本分类标注数据的稀缺，相关研究工作进展缓慢.为了充分利用有限的标注数据，更有效地挖掘出文本之间的关系，本文对藏文提出一种基于预训练模型和图卷积神经网络的长文本分类方法CINO-GCN.首先利用在实验数据集上经过微调的少数民族多语言预训练模型(Chinese Minority Pretrained Language Model, CINO)得到藏文长文本的初始文档向量和藏文音节向量.然后根据整个数据集范围的音节共现关系与音节和文档间的TF-IDF值来对藏文文本图进行建模.最后将文本图和结点特征一同输入至图卷积神经网络(graph convolutional networks, GCN)层，得到的文档表示经过Softmax得到分类结果.将该方法在公开的TNCC藏文新闻文本分类数据集上与当前几种主流的深度学习模型进行了多组对比实验，分类准确率达到73.51%,远优于其他基线模型；同时设计了消融实验验证模型各部分对分类结果的增益.实验结果表明，该文提出的模型能够结合预训练词向量和图神经网络的优势，显著提高藏文文本分类的准确率.     

基于卷积神经网络的文本分类算法

为了解决分类算法在文本分类时出现特征维度过高和数据稀疏的间题,提出了一种基于卷积神经网络(convolutional neural network,CNN)的文本分类算法,该算法结合卷积神经网络论中的邻接矩阵对文本分类进行动态建模。对文本的词向量进行训练,并且通过分类邻接矩阵得到群的结构和个数分类。在提取出文本抽象特征的基础上用CNN分类器来进行分类。仿真分析表明:该算法在在进行文本分类效果显著。     

基于文本图神经网络的小样本文本分类技术研究

为了解决文本图神经网络小样本文本分类精度较差的问题,设计了基于文本图神经网络的原型网络,采用预训练语言模型,利用文本级图神经网络为每个输入文本构建图并共享全局参数,将文本图神经网络的结果作为原型网络的输入,对未标注文本进行分类,并验证新模型在多个文本分类数据集上的有效性。实验结果表明,与需要大量标注文档的监督学习方法相比,所采用的方法未标注文本的分类精度提高了1%～3%,在多个文本分类数据集上验证了新模型性能先进,内存占用更少。研究结果可为解决小样本文本分类问题提供参考。     

多状态图神经网络文本分类算法

为了提高模型在文本分类任务中的分类性能,针对图神经网络中存在的过度平滑问题,同时增强模型在处理文本特征与文本表示方面的能力,提出了一种基于多状态图神经网络的文本分类算法(multi-state graph neural network, MSGNN)。多状态图神经网络是利用网络层的多个历史状态信息对图神经网络进行强化,构建合理的文本图结构数据作为模型输入。在缓解网络层过度平滑问题的同时,结合2种改进后的不同类型的图神经网络来增强模型的特征提取与特征聚合能力。利用多头自注意力机制对文本关键词的挖掘与利用能力,从多个文本子空间来生成高质量的文本表示,进而完成文本分类。通过在几个公开的文本分类数据集上进行实验分析,相较于其他神经网络的文本分类算法,该方法取得了较好的分类准确率。     

基于卷积神经网络的汉字结构多分类任务研究

图片形式的汉字结构分类问题由人工完成,存在主观分类误差、分类效率低、分类时间长,传统的数字图形图像学知识用于汉字结构分类时,无法做到使用一个模型区分多种复杂汉字结构.针对这些问题,搭建基于卷积神经网络ResNet进行迁移学习的汉字结构分类算法和搭建两层卷积层的卷积神经网络的汉字结构分类算法.在建立的数据集中训练集有19798张汉字图片,测试集使用143张结构风格与训练集相似的汉字图片完成9分类任务.最终通过比较得出一个准确率相对比较高的模型,方便以后更为广泛的工业级使用.     

基于卷积神经网络与随机森林算法的专利文本分类模型

为解决专利文档的自动化分类,根据机械领域专利文本的特点,提出了一种基于卷积神经网络与随机森林的机械专利文本分类模型;该模型应用卷积神经网络作为有监督的文本特征提取器,结合随机森林作为分类器,面向机械领域专利文本进行专利文本分类。该模型被应用在包含96类的107 302份英文机械专利文档的数据集上。实验结果表明,该模型相比k近邻、Na6ve Bayes、随机森林等经典机器学习算法在准确率、召回率以及查全率方面均有显著提高。     

朴素Bayes分类器文本特征向量的参数优化

采用朴素Bayes算法建立中文文本自动分类器, 并研究相关参数的选择问题, 以实现中文文本的高效分类. 首先在模型训练阶段, 采用N-gram模型处理训练数据集提取特征向量; 然后使用朴素Bayes算法建立文本分类器; 最后在模型测试阶段, 为提高分类准确率, 使用词频反文档频率算法对测试样本进行特征向量提取. 实例分析结果表明, 在提取训练集特征向量时, 2-gram模型和4-gram模型的特征提取效果最佳; 在选取特征向量长度时, 长度为25 000的特征向量可使分类准确率出现最大增幅并保证较高准确率; 在确定特征项词性方面, 同时选取动词和名词可使分类器准确率达到最高, 仅选取动词时准确率最低.     

朴素Bayes分类器文本特征向量的参数优化

采用朴素Bayes算法建立中文文本自动分类器, 并研究相关参数的选择问题, 以实现中文文本的高效分类. 首先在模型训练阶段, 采用N-gram模型处理训练数据集提取特征向量; 然后使用朴素Bayes算法建立文本分类器; 最后在模型测试阶段, 为提高分类准确率, 使用词频反文档频率算法对测试样本进行特征向量提取. 实例分析结果表明, 在提取训练集特征向量时, 2-gram模型和4-gram模型的特征提取效果最佳; 在选取特征向量长度时, 长度为25 000的特征向量可使分类准确率出现最大增幅并保证较高准确率; 在确定特征项词性方面, 同时选取动词和名词可使分类器准确率达到最高, 仅选取动词时准确率最低.     

基于改进胶囊神经网络的乐音主频识别研究

为了提高乐音主频识别性能，采用胶囊神经网络用于主频识别，并对胶囊神经网络特征相似计算方法进行改进优化，以增强胶囊神经网络的主频识别适应度。对乐音音符的端点检测与有效分割后采用线性预测倒谱参数法获得乐音主频特征向量。建立基于胶囊神经网络的乐音主频识别模型，并采用动态路由获得稳定的胶囊神经网络结构核心参数。采用余弦相似度对传统的内积计算进行有效改进，优化特征差异判断策略。采用改进的胶囊神经网络算法用于乐音主频识别。试验结果证明，合理设置胶囊神经网络的耦合系数、平衡系数和类别阈值单音集和曲谱连续集均能获得较高的乐音主频识别性能。相比于常用乐音识别算法，该文所提算法能够获得更高的识别准确率和稳定性。     

卷积神经网络与ELM的图像分类算法研究

卷积神经网络的全连接层作为一个经典的分类器,是根据传统的梯度下降法来实现训练的,泛化能力有限.针对这一问题,提出了一种将卷积神经网络和极限学习机相结合的混合模型应用于图像分类领域.卷积神经网络用于从输入图像中提取特征,特征映射最终会被编码成一维向量送入极限学习机中进行分类.给出了混合模型的详细设计,包括参数设计、结构分析以及迭代过程中反向传播算法的推导.实验结果表明,混合模型分类精度和快速性优于传统模型.在MNIST数据集上的分类精度达到了99.32％,GTSRB德国交通标志数据集上的分类精度达到99.35％.批尺寸相同时,混合模型的训练时间仅为卷积神经网络模型的9.9％～10.3％,同时测试速度是卷积神经网络模型的1.50～1.56倍,大幅缩短了时间.     

基于卷积神经网络的灾难场景图像分类

为了对灾难场景图像进行快速分析和识别,提出了一种基于多分辨率卷积神经网络和残差注意力机制(attention module)相结合的图像分类模型.首先,对灾难场景数据集进行预处理,在相同类型的条件下将其随机划分为训练集和测试集.基于改进的卷积神经网络(convolutional neural network,CNN),提取训练集的图像特征.使用训练集图片的特征进行训练,并且在测试集图片上实现分类测试.选取DenseNet、Xception和MobileNetV2三种模型,以灾难场景数据集(Disaster_Data_Scenes)为数据集进行实验验证.结果表明:改进的Xception和MobileNetV2网络在灾难场景数据集上进行的图像分类实验测试,比原网络精度分别提升了4.56％和3.04％.其中改进的DenseNet网络比原网络模型精度分别提升9.13％、17.88％和10.27％.可见改进的卷积神经网络模型的分类精度得到有效提高.     

基于改进的卷积神经网络邮件分类算法研究

针对传统文本分类方法中出现的维度过高和数据稀疏问题,通过对卷积神经网络(Convolutional Neural Network,CNN)和 inception V1 模型的深入研究,将两个模型融合起来,提出了一种基于 i-CNN 模型的 邮件分类方法;在卷积、池化操作中加入了 1×1 卷积核降低特征向量的厚度,减少了参数,提高了计算性能; 通过数据验证,i-CNN 模型对邮件的分类结果高达 92. 18%,在对比实验中,i-CNN 模型相对于几种机器学 习分类模型,取得了最高的分类精准率,在有无 inception 结构模型对比中,i-CNN 模型精准率高于 CNN 模 型;说明该模型具有较好的分类效果,且 inception V1 模型的融入能提高文本分类的准确率。     

几种常用文本分类算法性能比较与分析

分析了几种典型的文本分类算法的特点,并基于中文文本数据集和英文文本数据集对算法性能进行了综合评价.实验结果表明:对于英文文本数据,支持向量机具有最优的性能,但时间开销最大,贝叶斯算法速度较快;对于中文文本数据,由于分词的困难,使得算法性能普遍低于同等规模下在英文数据集上的性能.几种算法性能均随训练集规模的增大而有改善.     

基于自适应粒子群优化算法的神经网络的优化研究

针对传统的神经网络训练算法收敛速度慢和泛化性能低的缺陷,提出一种新的自适应粒子群优化算法用于神经网络的训练.该算法通过改进自适应搜索策略以提高网络泛化性能,并结合Ionosphere雷达信号分类数据集进行仿真测试.研究结果表明:基于自适应粒子群优化算法训练的神经网络在分类准确率和分类误差上明显优于传统的BP算法,且很好地提高了网络泛化能力和优化效果.     

基于卷积神经网络的多肉植物细粒度图像分类

多肉植物分类是植物栽培管理中的一项重要任务,通常需使用大型数据集和领域独有的特性.由于没有现成的多肉植物数据集,需收集大量的图片自制数据集.研究了多肉植物的细粒度图像分类.为了识别不同视角、背景、光效和成长阶段的多肉植物,对卷积神经网络AlexNet和GoogLeNet的最后三层进行微调,对原创数据集进行了强监督分类和弱监督分类的测试、训练.实验结果表明,微调GoogLeNet的强监督分类达到了最佳效果,精准率为96.7%.     

基于演化超网络的中文文本分类方法

为了提高中文文本的分类效果,提出了一种基于演化超网络的中文文本分类方法.采用中国科学院计算技术研究所的汉语词法分析系统对中文文本进行分词,保留文本中的名词、动词和形容词作为特征;以X2统计方法进行特征选择;利用布尔权重计算特征权值.经处理后的特征向量作为系统的训练集和测试集数据.运用超边替代策略训练超网络分类模型,并实现对测试集特征向量的分类.对不同阶数设定下的演化超网络模型进行了性能分析,并将其与传统的KNN和SVM算法进行了比较.结果表明,本方法对复旦大学语料和搜狐语料可获得87.2％和72.5％的宏识别率、86.9％和70.5％的宏召回率、87.0％和71.5％的宏F1,接近或优于KNN和SVM分类方法.所提出的方法是一种有效的中文文本分类手段.     

基于RS的GMDH神经网络在空袭目标识别中的应用

针对目标属性识别的特点,建立了基于粗糙集(Rough Sets, RS)的数据分组处理(Group Method of Data Handling, GMDH)神经网络分类模型.该模型较好地解决了采用高维数据集训练神经网络效率低,神经网络结构规模较大的问题.同时为了提高高维数据集合的属性约简效率,改进了集合近似质量属性约简算法.最后,通过与BP(Back-Propagation, BP)神经网络分类能力的仿真对比,结果表明,基于粗糙集的数据分组处理神经网络分类模型分类能力优于BP神经网络模型,满足现代防空作战对目标属性识别的需求,基于快速求核和集合近似质量的属性约简算法快速有效.