基于融合条目词嵌入和注意力机制的自动 ICD 编码

构建一种基于融合条目词嵌入和注意力机制的深度学习模型, 可以充分利用电子病案中的多种非结构化文本数据, 对病案首页的主要诊断进行自动ICD编码。该模型首先对含有病案条目的文本进行融合条目的词嵌入, 并通过关键词注意力来丰富词级别的类别表示; 然后利用词语注意力来突出重点词语的作用, 增强文本表示; 最后通过全连接神经网络分类器进行分类, 输出ICD编码。通过在中文电子病案数据集上的消融实验, 验证了融合条目词嵌入、关键词注意力和词语注意力的有效性; 与多个基准模型相比, 所建模型在对81 种疾病的分类中取得最好的分类效果, 可以有效地提高自动ICD编码的质量。     

组合多任务与迁移学习的故事发展预测

使用机器挖掘故事中的潜在语义关系从而推断故事发展方向,是当前自然语言处理领域研究的热点之一.现有主流方法存在的共性问题是神经网络理解文本能力有限,模型的关注点均集中在挖掘单个语义信息上,导致模型泛化能力差,使得机器仅能通过单个语义理解文本.针对上述问题,作者提出一种组合多任务与迁移学习的新模型,该模型由共享层、特定任务层、迁移层以及组合层构成.模型的前两层组合语言模型与多任务学习,解决神经网络理解能力不足的问题,第二、三层训练多个语义任务,第四层融合多个语义信息,克服以往模型仅从单个语义理解文本的缺点.对比实验及消融实验表明,新模型预测精度与主流方法相比有较为显著的提升,各特定任务的语义信息有助于预测故事发展方向.     

基于多任务深度学习的文本情感原因分析

多任务学习利用不同任务之间的相似性辅助决策,与单任务学习相比,多任务学习能够利用更多的信息,从而可以弥补单任务学习信息利用不足的缺陷。本文选择NTCIR-ECA数据集中的中文和英文文本数据作为实验数据,以情感原因分析作为研究任务,提出了一种结合多任务学习和深度学习的模型MTDLM(multi-task deep learning model),实现不同语种下的情感原因分析。实验结果表明,在数据不平衡的情况下,MTDLM模型对英文语种的情感原因识别的最优F值为39%,优于单任务学习(F值为0)和传统基线模型(LR的F值为33%),从而验证了模型的有效性。     

基于多头注意力胶囊网络的文本分类模型

文本序列中各单词的重要程度及其之间的依赖关系对于识别文本类别有重要影响。胶囊网络不能选择性关注文本中重要单词,并且由于不能编码远距离依赖关系,在识别具有语义转折的文本时有很大局限性。为解决上述问题,该文提出了一种基于多头注意力的胶囊网络模型,该模型能编码单词间的依赖关系、捕获文本中重要单词,并对文本语义编码,从而有效提高了文本分类任务的效果。结果表明:该文模型在文本分类任务中效果明显优于卷积神经网络和胶囊网络,在多标签文本分类任务上效果更优,能更好地从注意力中获益。     

融合文本内容和标签引导文本编码的分类方法

针对当前文本分类算法未能充分利用标签的语义表示导致文本表示学习与分类预测割裂的问题,提出一种融合文本内容编码和标签引导文本编码的文本分类方法.在文本内容编码部分,通过长短时记忆网络获得文本序列累计语义表示,通过自注意力机制捕获和强化文本长距离语义依赖.在标签引导文本编码部分,设计交互注意力机制,通过标签引导得到经由标签的语义表示过滤下文本的新表示.最后将两部分输出融合,得到同时具有本地内容语义信息和全局任务指导信息的文本表示,使得模型在文本表示阶段即对分类任务具有早期感知力.实验结果表明本研究方法在真实数据集上可有效提升文本分类任务性能.     

基于情感轮和多任务卷积神经网络的图像情感分布学习

图像情感分布学习可以对多种情绪同时进行建模,但现有的模型缺乏有效的方法直接考虑情绪之间的相关性.针对这一问题,该文提出一种基于情感轮和多任务卷积神经网络(EW-MTCNN)的图像情感分布学习模型,通过先验知识模块将心理学情感知识直接引入到深度神经网络中.基于Mikel's情感轮定义成对情绪之间的相关性,EW-MTCNN模型采用多任务卷积神经网络学习情绪之间的相关性信息,同时优化情感分布预测和情绪分类任务.EW-MTCNN模型由3个模块组成,3个模块分别是图像特征提取层、情感轮先验知识层和多任务损失层.在情感分布数据集(Emotion6)和单标签数据集(Artphoto)上进行对比实验的结果表明:EW-MTCNN模型在情感分布预测与情绪分类任务上比其他情感分布学习方法具有更优的性能.     

一种面向预测任务的基于时间序列的病人表示学习方法

针对多次住院的住院病人病历数据提出了一种通用的病人表示学习方法,首先根据病人的特性对医院病历进行二次建库,构建序列化的电子病历数据。然后使用循环神经网络自编码器模型来生成病人表示向量。该模型既能有效地建模序列化电子病历中的时序信息,又能在无监督条件下实现通用的病人表示学习。最后,将得到的病人表示向量作为特征,应用到心衰病人的死亡率预测与并发症预测任务之中。实验结果表明,这种表示学习方法相较其他基于原始电子病历数据的特征学习策略,在死亡预测上提高了约0.15的AUC值,并在10项并发疾病预测中获得4项最优,2项次优结果。     

基于循环胶囊网络的临床语义关系识别研究

得益于医疗信息化的不断推进,医院已积累了大量的电子病历记录。然而,这些病历记录大多以自然语言的形式存在,无法为计算机所"理解",也就无法对其做进一步的处理与挖掘。由此,对病历文本进行结构化研究,识别出病历实体间的语义关系,便显得尤为重要。本文针对临床语义关系识别任务,提出循环胶囊网络模型,使用分段循环神经网络来捕捉两实体及其上下文信息,并使用胶囊网络来进行最终的关系分类。实验表明,本文提出的方法较现有监督学习方法取得了更好的识别效果(F1-score为96.51%),证明了本文方法的优越性。     

融入罪名关键词的法律判决预测多任务学习模型

作为新兴的智慧法院技术之一,基于案情描述文本的法律判决预测越来越引起自然语言处理界的关注。罪名预测和法条推荐是法律判决预测的2个重要子任务。这2个子任务密切相关、相互影响,但常常当作独立的任务分别处理。此外,罪名预测和法条推荐还面临易混淆罪名问题。为了解决这些问题,该文提出一种多任务学习模型对这2个任务进行联合建模,同时采用统计方法从案情描述中抽取有助于区分易混淆罪名的指示性罪名关键词,并将它们融入到多任务学习模型中。在CAIL2018法律数据集上的实验结果表明:融入罪名关键词信息的多任务学习模型能够有效解决易混淆罪名问题,并且能够显著地提高罪名预测和法条推荐这2个任务的性能。     

融合ChineseBERT和双向注意力流的中文商品评论方面情感分析

准确分类电商平台中用户评论所包含的多个方面的情感极性,能够提升购买决策的有效性。为此,提出一种融合ChineseBERT和双向注意力流(Bidirectional Attention Flow,BiDAF)的中文商品评论方面情感分析模型。首先,通过融合拼音与字形的ChineseBERT预训练语言模型获得评论文本和方面文本的词嵌入,并采用从位置编码和内存压缩注意力两个方面改进的Transformer来表征评论文本和方面文本的语义信息。然后,使用双向注意力流学习评论文本与方面文本的关系,找出评论文本和方面文本中关键信息所对应的词语。最后,将Transformer和双向注意力流的输出同时输入到多层感知机(Multilayer Perceptron,MLP)中,进行信息级联和情感极性的分类输出。测试结果表明,提出的模型在两个数据集上的准确率分别为82.90%和71.08%,F1分数分别为82.81%和70.98%。     

基于卷积神经网络的入侵检测算法

作为深度学习的一种有效算法,深度卷积网络已成功应用在处理图像、视频和音频等领域.通过建立一卷积神经网络模型并应用于网络入侵检测,选取的卷积核与数据进行卷积操作提取特征的局部相关性从而提高特征提取的准确度.采集到的网络数据通过多层"卷积层-下采样层"的处理对网络中正常行为和异常行为的特征进行深度刻画,最后通过多层感知机进行正确分类.KDD 99数据集上的实验表明,文中提出的卷积神经网络模型与经典BP神经网络、SVM算法等相比,有效提高了入侵检测识别的分类准确性.      

基于BERT的危险化学品命名实体识别模型

针对危险化学品实体识别及关系识别的问题,本文基于双向长短期记忆网络连接条件随机场(Bidirectional Long Short-Term Memory with Conditional Random Field, BiLSTM-CRF)模型,通过引入双向编码器表示(Bidirectional Encoder Representation from Transformers, BERT)模型结合多头自注意力机制,提出了一种预训练命名实体模型BERT-BiLSTM-self-Attention-CRF,通过对危险化学品的文本进行字符级别编码,得到基于上下文信息的字向量,增强了模型挖掘文本全局和局部特征的能力。实验结果表明,在自行构建的数据集上,本文模型优于其他传统模型,其F1值为94.57%。     

基于改进Transformer和强化学习的僵尸网络DGA域名检测

针对现有僵尸网络检测方法检测精度不高和检测时间开销较大的问题,提出一种基于改进Transformer和强化学习的僵尸网络域名生成算法(Domain Generation Algorithm,DGA)的域名检测方法。首先,利用深度可分离卷积替换ResNet和ResNeXt网络中的卷积块,通过减少网络模型参数来降低模型的时间开销;其次,利用改进后的ResNet和ResNeXt网络将域名字符串映射到深度特征空间,构造多尺度特征,强化特征的表达能力;再次,利用长短期记忆神经网络(Long Short-Term Memory,LSTM)对Transformer网络进行改进,在保持字符间相对位置的同时,进一步建立上下文的长距离依赖编码,并在此基础上引入注意力机制,强化模型对关键特征的捕获能力;最后,引入强化学习对模型进行微调,提高DGA域名的检测精度。在多个DGA域名数据集上进行测试验证,结果表明该模型在保持检测时间开销较小的基础上,具有更高的检测精度。     

曳引电梯磁流制动器的磁流变液摩擦学性能分析

由于磁流变液存在颗粒自磨损以及颗粒与磁流变制动器工作壁面的摩擦问题,会影响电梯磁流变制动器的制动效果,因此对磁流变液的摩擦学性能进行分析非常关键。通过以石墨、油脂作为添加剂,制备4种硅油基磁流变液。利用四球摩擦试验机模拟磁流变液在电梯传动装置中的运行工况,记录摩擦系数的变化,并用影像显微镜观察和测量磨斑大小。通过流变仪测量磁流变液在摩擦实验前后流变性能的变化,分析磁流变液在装置中的摩擦磨损对其性能的影响。结果表明：添加剂在一定程度上对磁流变液具有减摩作用,摩擦后的流变性能均有所增大;所配制的编号3磁流变液具有低零场黏度、高磁致剪切应力、较好的稳定性,是适用于曳引电梯磁流变制动器中的磁流变液。     

广西兰科植物资源现状与可持续发展战略研究

广西兰科植物资源十分丰富,是广西优势植物资源,同时也是植物生物多样性受威胁最严重的群体。本文对广西兰科植物资源现状、兰科植物资源可持续发展存在的问题、面临的机遇和挑战作了全面分析,阐明了广西兰科植物资源可持续发展战略指导思想、原则和保障体系,提出了实现广西兰科植物资源可持续发展的战略,旨在为广西兰科植物的保护和可持续开发利用提供参考依据。     

融合GAN与深度神经网络的混合信用评估方法

随着信用卡和个人贷款业务在金融业的快速增长,如何在信息有限的情况下检测潜在违约或坏账业务已经变得极其重要。信用评分领域面临的主要困难是样本不平衡以及分类器性能不佳,为此本研究首先提出了一种基于表格数据的生成对抗网络Tab-GAN,从原始数据中生成足够的违约样本;随后设计了一种基于CNN-LSTM的混合深度学习模型用于特征提取,该模型包含卷积神经网络(Convolutional Neural Networks,CNN)和长短期记忆神经网络(Long Short-Term Memory,LSTM)两个子模型,分别从用户数据中提取静态局部特征和动态时间特征,并加入时空注意力模块对模型的输出进行重要度计算,从而抽取更关键的信息;最后在分类器层面引入焦点损失函数改进轻量级梯度提升机(Light Gradient Boosting Machine,LightGBM)分类器,实现违约风险的概率输出。在两个真实世界数据集中验证风险预测模型,实验结果表明生成对抗网络可以有效解决样本不平衡问题,CNN-LSTM+LightGBM模型在各项分类评价指标上均优于信用评分领域的其他先进算法,证明了该模型在信用评分领域的有效性和可移植性。     

元宇宙技术及应用研究进展

元宇宙(Metaverse)是一个虚拟时空的集合,由一系列的增强现实(Augmented Reality, AR)、虚拟现实(Virtual Reality, VR)和互联网(Internet)组成,是一个平行于现实世界运行的人造空间,也被认为是互联网的下一个阶段,是由AR、VR、3D等技术支持的虚拟现实的网络世界。自2021年以来,国内外掀起了研究元宇宙的热潮。本文介绍了元宇宙的起源和定义、发展元宇宙的意义、元宇宙的技术体系、发展面临的问题和风险等;重点分析了元宇宙的主流技术体系和典型应用场景,列举了相关研究成果和观点;最后给出了元宇宙未来的研究方向。     

融合生成式模型的知识增强实体链指方法

未链接实体分类是实体链指(Entity Linking, EL)任务中的重要研究内容之一。现有方法存在上下文语义信息不充分、分类准确率低等问题,导致实体链指任务表现不佳。本研究提出一种融合生成式模型的知识增强实体链指方法。该方法将实体链指分为两个子模块,即候选实体排序模块和未链接实体分类模块。本研究基于高精度的候选实体排序模块,获得高质量的知识扩展信息,并对未链接实体分类任务进行知识增强;针对未链指实体提及的分类问题,提出一套生成式框架,该框架能够取得超过基线模型的性能。本研究方法在2020年全国知识图谱与语义计算大会(CCKS2020)评测任务二的中文短文本实体链指数据集上取得了目前最佳性能(整体F值为91.76%),证明知识增强和生成式框架的引入能提高模型的泛化能力,缓解未链接实体分类中的信息不充分问题。     

架空建筑街谷内流动与污染物扩散的数值模拟研究

研究架空建筑设计对街道峡谷内气流流动和污染物扩散规律的影响.考虑了4种不同街谷高宽比(H/W)和3种架空建筑类型,利用经风洞实验验证的CFD数值模型对上述街谷内流动与污染物扩散规律进行模拟研究.结果表明,在无架空街谷中,H/W的增大不利于街谷内污染物扩散.与无架空街谷相比,架空结构显著改善了街谷内的空气质量.两侧建筑架...     

冲击温度、压力对Ti-Si活性粉体自蔓延反应的影响

为解决在冲击加载条件下,冲击温度和冲击压力对Ti-Si活性粉体发生自蔓延反应影响的问题.一方面,采用相同强度的平面加载方式对不同密实度样品进行冲击处理,另一方面,采用不同强度的柱面加载方式对相同密实度样品进行冲击处理,分别研究冲击温度和冲击压力对Ti-Si活性粉体发生自蔓延反应的影响.采用XRD和SEM进一步确定Ti-Si活性粉体发生自蔓延反应的情况.实验结果表明,在平面加载条件下,较低密实度样品会发生自蔓延反应,即冲击温度较高有利于反应完全进行;在柱面加载条件下,较高密实度样品会发生自蔓延反应,即冲击压力较高有利于反应完全进行.