基于文本特征和语言知识的神经网络情感分类

为进一步提高文本情感倾向性分类效果,提出基于文本特征和语言知识融合的卷积神经网络模型MI-CNN。使用Word2Vec表示词语信息,将词性和情感词语等语言知识嵌入词向量中,将文本特征和语言知识融合到情感倾向性分类模型,经过参数优化提升文本情感倾向性分类模型的准确率。在数据集上进行实验,结果表明所提出的模型准确率达到93.0%,比文献中的基准模型取得了更好的分类效果。     

利用深度去噪自编码器深度学习的指令意图理解方法

提出了一种利用深度去噪自编码器(SDAE)的自然语言指令意图理解方法.根据家庭服务机器人的使用环境和应用场景构建了一个自然语言文本指令语料库,并对语料库中各类指令进行意图标注,从而把文本指令理解问题转化为文本分类问题;在传统的文本向量空间模型的基础上,融合了文本指令的词性信息,定义了一种文本表示模型——词性向量空间模型;将SDAE应用于文本指令意图理解,提取指令的高阶特征;用高斯核支持向量机进行训练和预测,进而实现了自然语言指令的意图理解.在所建语料库上进行多折交叉验证,结果表明指令意图理解平均准确率达到96%以上.     

基于卷积神经网络的特定目标文本情感分析模型

在特定目标文本情感分析过程中,文本序列分类受标注方式的限制,导致分析结果的准确率和召回率较低.为了解决这个问题,构建了基于卷积神经网络的特定目标文本情感分析模型(文本分析模型).根据情感差异分析特定目标文本序列,在输入层将文本特征矩阵作为卷积神经网络语言模型的输入数据,拼接成词性序列矩阵;分段池化捕获文本序列不同的关键特征,并分类处理提取到的特征向量;加入dropout机制完成特定目标文本情感分类,确定文本中每个词的重要度信息,实现特定目标文本情感分析.实验结果表明,文本分析模型的准确率高于84%,召回率最大值为87%,能够有效实现特定目标文本情感分析.     

深度学习网络用于贝多芬钢琴奏鸣曲创作时期分类的研究

把音频文件转化为自然语言序列后,使用mLSTM模型+softmax回归的深度学习网络对贝多芬钢琴奏鸣曲的创作时期进行分类,10折交叉验证的平均准确率可达到90%.这一工作说明创作于不同时期的贝多芬钢琴奏鸣曲的确呈现出不同的艺术特征,这一模型也可为其他的音乐分类问题提供新的思路.     

一种集成WordNet到受控自然语言系统的算法

首先分析英语单词词性的分类和特性,定义出受控自然语言的词库模型;然后结合WordNet词库特性提出基于WordNet的受控自然语言词库构建方法;最后提出结合基于词库的上下文无关文法,并通过其实现词库解析算法.试验结果表明,按照本算法集成WordNet词库到ACE受控自然语言系统,能显著地提高受控自然语言的识别率,同时降低受控自然语言词库的构建和维护门槛,具有可行性和实用性.所提算法具有通用性和较强的可移植性,可以很容易移植到其他受控自然语言系统.     

基于改进的隐马尔科夫模型的词性标注方法

针对隐马尔可夫(HMM)词性标注模型状态输出独立同分布等与语言实际特性不够协调的假设,对隐马尔可夫模型进行改进,引入马尔可夫族模型。,该模型用条件独立性假设取代HMM模型的独立性假设。将马尔可夫族模型应用于词性标注,并结合句法分析进行词性标注。用改进的隐马尔可夫模型进行词性标注实验。实验结果表明:与条件独立性假设相比,独立性假设是过强假设,因而基于马尔可夫族模型的语言模型更符合语言等实际物理过程;在相同的测试条件下,马尔可夫族模型明显好于隐马尔可夫模型,词性标注准确率从94.642%提高到97.126%。     

基于稀疏表示的时间序列最近邻分类

提出一种基于稀疏表示的时间序列最近邻分类模型,旨在通过提取时间序列的关键特征,去除冗余信息,达到减少噪声干扰的目的.该模型首先求解时序数据基于过完备字典的稀疏表示,然后利用非零系数及其对应的原子重构原始序列,最后利用基于距离的分类器进行分类.在18个时间序列公开数据集上的实验结果表明,最近邻分类模型能够提高传统的最近邻分类器的分类准确率.     

基于POS-CBOW语言模型的相似词分析

相似词分析是自然语言处理领域的研究热点之一,在文本分类、机器翻译和信息推荐等领域中具有重要的研究价值和应用意义。针对新浪微博短文本的特点,给出一种带词性的连续词袋模型(POS-CBOW)。该模型在连续词袋模型的基础上加入过滤层和词性标注层,对空间词向量进行优化和词性标注,通过空间词向量的余弦相似度和词性相似度来判别词向量的相似性,并利用统计分析模型筛选出最优相似词集合。实验表明,基于POS-CBOW语言模型的相似词分析算法优于传统CBOW语言模型。     

一种结合词性及注意力的句子情感分类方法

针对目前各种基于长短期记忆网络LSTM的句子情感分类方法没有考虑词的词性信息这一问题,将词性与自注意力机制相结合,提出一种面向句子情感分类的神经网络模型PALSTM(Pos and Attention-based LSTM).首先,结合预训练词向量和词性标注工具分别给出句子中词的语义词向量和词性词向量表示,并作为LSTM的输入用于学习词在内容和词性方面的长期依赖关系,有效地弥补了一般LSTM单纯依赖预训练词向量中词的共现信息的不足;接着,利用自注意力机制学习句子中词的位置信息和权重向量,并构造句子的最终语义表示;最后由多层感知器进行分类和输出.实验结果表明,PALSTM在公开语料库Movie Reviews、Internet Movie Database和Stanford Sentiment Treebank二元分类及五元情感上的准确率均比一般的LSTM和注意力LSTM模型有一定的提升.     

基于word-hashing的DGA僵尸网络深度检测模型

针对使用域名生成算法(DGA)僵尸网络隐蔽性强,传统检测算法特征提取复杂的问题,提出一种无需提取具体特征的深度学习模型DGA域名检测方法.首先基于word-hashing将所有域名转用二元语法字符串表示,利用词袋模型把域名映射到高维向量空间.然后利用5层深度神经网络对转换为高维向量的域名进行训练分类检测.通过深度模型,能够从训练数据中发现不同层次抽象的隐藏模式和特征,而这些模式和特征使用传统的统计方法大多是无法发现的.实验中使用了10万条DGA域名和10万条合法域名作为样本,与基于自然语言特征分类算法进行对比实验.实验结果表明该深度模型对DGA域名检测准确率达到97.23%,比基于自然语言特征分类算法得到的检测准确率高3.7%.     

结合上下文词汇匹配和图卷积的材料数据命名实体识别

材料领域的文献中蕴含着丰富的知识, 利用机器学习和自然语言处理等手段对文献进行数据挖掘是研究热点. 命名实体识别(named entity recognition, NER)是高效利用挖掘和抽取数据中信息的首要步骤. 为了解决现有实体识别方法中存在的向量表示无法解决一词多义、模型常提取上下文特征而忽略全局特征等问题, 提出了一种基于上下文词汇匹配和图卷积命名实体识别方法. 该方法首先利用 XLNet 获取文本的上下文动态特征, 其次利用长短期记忆网络并结合文本上下文匹配词汇的图卷积神经网络(graph convolutional network, GCN)模型分别获取上下文特征与全局特征, 最终经过条件随机场输出标签序列. 2 种不同语料对模型进行验证的结果表明, 该方法在材料数据集上的精确率、召回率和 F1 值分别达到 90.05%、88.67% 和 89.36%, 可有效提升命名实体识别的准确率.     

A Recommendation Mechanism for Web Publishing Based on Sentiment Analysis of Microblog

Microblog is a social platform with huge user community and mass data. We propose a semantic recommendation mechanism based on sentiment analysis for microblog. Firstly, the keywords and sensibility words in this mechanism are extracted by natural language processing including segmentation, lexical analysis and strategy selection. Then, we query the background knowledge base based on linked open data(LOD) with the basic information of users. The experiment result shows that the accuracy of recommendation is within the range of 70%-89% with sentiment analysis and semantic query. Compared with traditional recommendation method, this method can satisfy users’ requirement greatly.     

语言语用功能的性别变异

变异是语言的一个本质属性,语言的性别变异又是当今社会语言学最灵动的社会变项。男人和女人交往时在词汇层面、句法层面、交际策略层面都各有其特异表现,深刻剖析这种差异背后错落交织的历史与社会原因可以为疏通和超越跨性别交际障碍寻找可能的对策。     

施工组织设计文档智慧辅助审查中的文本分类问题研究

施工组织设计是指导工程建设全过程活动的技术、经济和组织的综合性文件,随着自然语言处理(NLP)等人工智能技术的发展,本文针对施工组织设计文档智慧辅助审查中基础性工作之一-文本分类问题开展研究。为实现施工组织设计文本的自动分类,本文运用Word2vec词嵌入技术对文本进行向量化表示,基于Bi-LSTM捕捉文本上下文序列信息,融入Attention机制,提取文本有效信息,采用softmax激活函数分类。Attention Bi-LSTM在房建数据集上达到了0.97的准确率、召回率以及F1值,整体分类效果在正确率、宏平均、加权平均上均优于其他模型。融入Attention机制的Bi-LSTM文本分类模型通过双向捕获文本的特征并利用Attention机制提取有效信息,达到了联合优化的作用,提高了模型的分类性能。     

基于HMSVM的基本名词短语识别研究

名词短语在自然语言处理中具有重要的地位．文章首先从语言学角度定义了名词短语,然后为名词短语识别的问题设计了一个序列标注模型,最后将隐马尔科夫支持向量机用于学习该序列标注问题．实验显示取得了满意的准确率和召回率．     

基于序列标注的事件联合抽取方法

事件抽取是自然语言处理领域的重要研究方向。传统的事件类型抽取系统采用分类方式,无法解决跨句子的事件角色和事件类型匹配问题。为了解决该问题,提出一种基于序列标注的事件联合抽取模型,结合卷积神经网络(convolutional neural networks, CNN)与长短期记忆网络(long short-term memory, LSTM)提取全局特征和局部特征;并在浅层LSTM层共享参数实现联合抽取,以序列标注方式抽取事件论元并匹配事件类型。实验结果表明,模型能有效提取司法领域的文档事件信息。     

朴素贝叶斯分类在仪表故障判断上的应用

为了探讨朴素贝叶斯分类在仪表故障判断领域的应用价值,通过将某核电厂压力表故障的历史信息进行分类汇总,将故障的判断转换成文本分类任务,结合朴素贝叶斯分类算法和自然语言处理建立故障的分类模型,实现对新增故障的准确判断。通过验证,朴素贝叶斯分类模型能够对新增故障进行判断分类。测试中需要进行校验类故障准确率能够达到95%以上,其他类故障准确率高于70%。传统故障判断一般是由人来完成,通过贝叶斯分类模型实现对故障的判断,可减轻人员劳动强度,提高工厂维修自动化水平。     

基于句法依存卷积神经网络的句子相似度计算

句子相似度计算是自然语言处理的一项基础任务,其准确性直接影响机器翻译、问题回答等下游任务的性能。传统机器学习方法主要依靠词形、词序及结构等浅层特征计算句子相似度,而深度学习方法能够融入深层语义特征,从而取得了更好效果。深度学习方法如卷积神经网络在提取文本特征时存在提取句子语义特征较浅、长距离依赖信息不足的缺点。因此设计了DCNN （dependency convolutional neural network）模型,该模型利用词语之间的依存关系来解决该不足。DCNN模型首先通过依存句法分析得到句子中词语之间的依存关系,而后根据与当前词存在一跳或者两跳关系的词语形成二元和三元的词语组合,再将这两部分信息作为原句信息的补充,输入到卷积神经网络中,以此来获取词语之间长距离依赖信息。实验结果表明,加入依存句法信息得到的长距离依赖能有效提升模型性能。在MSRP （microsoft research paraphrase corpus）数据集上,模型准确度和F1值分别为80.33%和85.91,在SICK （sentences involving compositional knowledge）数据集上模型的皮尔森相关系数能达到87.5,在MSRvid （microsoft video paraphrase corpus）数据集上模型的皮尔森相关系数能达到92.2。     

词块与口语流利性和准确性的相关关系研究——一项基于高职院校学生的研究

词块的运用可以促进学习者语法能力和语用能力的提高,对语言习得和促进语言输出的准确性和流利都具有重大意义。以解释流利性和准确性发展的加速模式即Levelt的语言产出模式和认知发展模式以及双模式语言系统为理论基础,针对高职英语专业学生进行词块与口语流利性和准确性的关系研究,结果发现,二者相关显著,学习者使用词块存在很大差异,从而揭示出口语教学中运用词块策略的必要性。     

基于正则约束的分层仿射图神经网络文本分类模型

文本分类是自然语言处理中一个重要的研究课题。近年来，图神经网络（graph neural network，GNN）在这一典型任务中取得了良好的效果。目前基于图结构的文本分类方法存在边噪声和节点噪声干扰、缺乏文本层次信息和位置信息等问题。为了解决这些问题，提出了一种基于正则约束的分层仿射图神经网络文本分类模型Text-HARC，该模型融合了图注意力网络（graph attention network，GAT）与门控图神经网络（gated graph neural network，GGNN），引入正则约束过滤节点与边噪声，分别使用仿射模块与相对位置编码补充词语表示。通过实验，该方法在TREC、SST1、SST2、R8四个基准数据集上的准确率提升明显，消融实验结果也验证了该方法的有效性。