基于密度Canopy的评论文本主题识别方法

融合Sentence-BERT和LDA的评论文本主题识别（SBERT-LDA）方法，将LDA的主题数作为K-means算法中的k值，导致算法可解释性较差、主题一致性较低。为了解决上述问题，提出基于密度Canopy的SBERT-LDA优化方法（SBERT-LDA-DC），利用密度Canopy改进K-means算法。实验结果表明，提出的方法在一致性指标上要优于使用K-means以及K-means++对特征向量聚类的同类方法；与SBERT-LDA方法相比，在1 852条戏剧评论数据集上，一致性指标值提高了22.9%。因此，所提出的SBERT-LDA-DC方法是有效的，对产品或服务提供者更好地了解用户意见、完善自身产品或提升服务水平提供了新方法，具有较强的实际应用价值。     

基于深度学习的短文本语义相似度计算模型

基于深度学习的短文本语义相似度度量方法是现代自然语言处理任务的基石，其重要性不言而喻。本文提出一种基于卷积神经网络和双向门控循环单元的文本编码模型，通过卷积层提取重要语义并且通过双向门控循环单元保证语义顺序，采用孪生神经网络结构保证文本编码的一致性。选取传统的卷积神经网络和长短期记忆网络以及BERT模型进行对比验证，在Quora、Sick和MSRP数据集上的验证结果表明，本文模型的精确率和召回率表现优异，且F₁值也优于传统模型。     

基于关系模式与深度强化学习的DS数据去噪模型

远程监督(Distant Spervision，DS)数据集中存在大量错误标注的数据，而现有的DS数据集去噪方法通常只考虑针对具有标签的数据进行去噪，没有充分利用无标签数据，导致去噪效果不佳。本文提出一种新型DS数据去噪模型——Pattern Reinforcement Learning Model (PRL模型)：首先利用基于关系模式的正样例抽取算法提取DS数据集中高质量的有标签数据；然后利用Filter-net作为分类器，提取DS数据集中高质量的无标签数据；最后将高质量的有标签数据和无标签数据作为深度强化学习(Reinforcement Learning，RL)方法的训练数据集，获得去噪效果更好的远程监督数据集。将PRL模型应用于New York Times(NYT)数据集，并以去噪后的数据集来训练PCNN+ONE、CNN+ATT、PCNN+ATT 3个模型。实验结果表明，经过PRL模型对数据集进行去噪后，这些模型的性能得以提升。因此，PRL模型是一种轻量的数据去噪模型，可以提升基于深度神经网络模型的性能。     

基于场景与话题的聊天型人机会话系统

人机会话在自然语言处理乃至人工智能领域中起着重要标志性作用，可根据使用目的划分为问答系统、任务型会话、聊天系统等，其中聊天型会话通常具有更高的拟人需求。该文在基于长短期记忆网络的序列变换模型基础上，通过引入话题网络显式抽取会话中的场景与话题信息，并将这种不随语序变化的高层抽象信息扩展到会话模型结构中，与注意力机制共同指导解码预测过程。由于难以事先获取话题信息，话题网络被建模为非监督式学习模型，因此训练过程需分三步进行。实验结果表明，在恰当的训练方法和结构参数下，该模型能够使聊天会话的质量得到明显提升。     

后疫情时代侨情危机状况识别方法

基于新冠疫情时代海外侨情危机事件频发,提出一种基于自动化信息要素抽取的新闻事件类型识别方法,对后疫情时代侨情新闻事件进行智能危机类别划分.首先,利用爬虫技术获取特定时间段的相关侨情事件新闻,进而采用信息抽取模型对语料数据进行信息要素抽取;然后,根据要素集的取值判断每条新闻的危机事件类型;最后,对2020年1月-8月的侨情新闻数据进行实证研究.结果表明:该方法不但能提升侨情分析的效率,还能进行多维度的危机状况信息可视化,有助于制定危机事件应对策略.     

基于PSO优化孪生支持向量机的自然语言处理

为了进一步提高孪生支持向量机(Twin support vector machine, TWSVM)的自然语言文本分类准确度，提出了一种改进的粒子群优化(Particle swarm optimization, PSO)算法，并采用改进的PSO算法对TWSVM核心参数进行优化。根据迭代次数来选择自适应权重从而对传统PSO算法进行改进，以防止收敛速度过快而错过全局最优解。采用Word2Vec对自然语言样本进行向量化处理，并通过PSO算法对TWSVM惩罚因子进行优化求解，解决因为惩罚因子设置不合理而造成自然语言文本分类准确率不高的问题。试验证明，通过合理设置PSO算法的速度权重初始值和稳定值，结合自适应递减权重策略，能够获得较高的惩罚因子优化性能，从而提高TWSVM的分类准确率，相比于常见自然语言文本分类算法，PSO-TWSVM的分类准确率更高，均方根误差值更低，在自然语言文本分类中的适用度高。     

银行客户交易场景智能分类

如何聚合多维度海量数据，充分挖掘数据的内在价值，是商业银行数字化转型的重要目标之一。文章以银行个人客户支付交易数据为例，探索Textgrocery与FastText两类自然语言处理算法对交易所属场景的分类效果。实验表明，Textgrocery效果在分场景和整体方面均优于FastText，故文章最终选择Textgrocery算法对交易数据所属场景开展自动化、智能化、高效化分类。模型场景分类结果可以帮助银行为个人客户建立消费行为维度的客户标签，从而使数据资源变得可使用、有价值。