基于隐特征提取和CRF模型的中文词义消歧

传统的中文词义消歧方法是通过观察文本的上下文信息、词性等显性特征建立消歧模型,本文通过对歧义产生原因进行深入的分析,发现词语之间隐含的语法结构、语义信息等也会导致歧义的产生,可以考虑将这些信息加入消歧模型进行消歧。由于《知网》知识库中对词语之间的搭配信息进行了总结,本文借助《知网》提取训练语料库所获取的词语搭配信息的隐性语义特征,结合显性的上下文特征,采用条件随机场的方法进行词义消歧。最后,通过实验进行词义消歧和效果验证,结果表明：本文采用的方法与传统的条件随机场消歧相比,词义消歧的准确率得到了提高。     

基于预训练语言表示模型的汉语韵律结构预测

韵律结构预测作为语音合成系统中的一个关键步骤,其结果直接影响合成语音的自然度和可懂度.本文提出了一种基于预训练语言表示模型的韵律结构预测方法,以字为建模单位,在预训练语言模型的基础上对每个韵律层级设置了独立的输出层,利用韵律标注数据对预训练模型进行微调.另外在此基础上额外增加了分词任务,通过多任务学习的方法对各韵律层级间的关系及韵律与词间的关系建模,实现对输入文本各级韵律边界的同时预测.实验首先证明了多输出结构设置的合理性及使用预训练模型的有效性,并验证了分词任务的加入可以进一步提升模型性能;将最优的结果与设置的两个基线模型相比,在韵律词和韵律短语预测的F1值上与条件随机场模型相比分别有2.48%和4.50%的绝对提升,而与双向长短时记忆网络相比分别有6.2%和5.4%的绝对提升;最后实验表明该方法可以在保证预测性能的同时减少对训练数据量的需求.     

基于领域知识和词向量的词义消歧方法

利用无标注文本构建词向量模型,结合特定领域的关键词信息,提出一种词义消歧方法。以环境领域的待消歧文本作为评测语料,通过与Lesk等其他消歧方法进行比较,证明了所提方法的有效性。通过引入不同的领域知识,证明该方法亦可在其他领域的文本消歧任务中加以应用。     

基于混合范式多任务学习的图像稀疏表示

受视觉表示和多任务学习的研究结果启发，发现传统模型约束项所获得的稀疏表示或过于冗余或过于严格要求信息共享，为寻找一种折中且更加有效的特征表示方法，提出基于混合范式多任务学习的图像稀疏表示学习框架。该框架以多特征的类别信息作为先决信息对特征进行组划分。选择L2，1和L1混合范式做约束惩罚函数约束，其中L2，1范式，在特征组内提取同种特征相关共享信息，L1范式在多特征组之间去相关，选择竞争性更强的特征种类。提出的学习框架不仅实现了多特征联合，而且充分考虑了不同特征之间的互补表示能力又消除了冗余。实验结果表明，由该框架学习得到的稀疏表示不仅可以达到稀疏要求，同时也实现了较好的分 类性能，证明了混合范式算法对提取图像关键本质信息的有效性。     

基于多任务联合学习的入侵检测方法

针对目前大多数的网络入侵检测方法存在模型泛化能力较弱以及训练数据集类别不平衡等问题,考虑到网络流量同时具有时间性与空间性的特点,提出了一种基于多任务联合学习的入侵检测方法.首先对数据流量进行预处理,并将数据通过注意力层初始化其权重分布;然后通过胶囊网络(CapsuleNet)与简单循环单元(SRU)分别提取流量数据的空...     

基于BERT模型的司法文书实体识别方法

采用手工分析案件卷宗，容易产生案件实体遗漏现象及提取特征效率低下问题.为此，使用基于双向训练Transformer的编码器表征预训练模型.在手工标注的语料库中微调模型参数，再由长短时记忆网络与条件随机场对前一层输出的语义编码进行解码，完成实体抽取.该预训练模型具有巨大的参数量、强大的特征提取能力和实体的多维语义表征等优势，可有效提升实体抽取效果.实验结果表明，本文提出的模型能实现89%以上的实体提取准确度，显著优于传统的循环神经网络和卷积神经网络模型.     

基于多任务损失附加语言模型的语音识别方法

针对Attention过于灵活的对齐方式在复杂环境中适应性差、简单端到端模型对语言特征利用不充分的问题,研究了基于多任务损失附加语言模型的语音识别方法.通过分析语音信号特征,训练中选用包含更多信息的特征.以基于Attention的Conformer端到端模型为基础,采用CTC损失辅助纯Conformer (Attention)的多任务损失训练模型,得到Conformer-CTC语音识别模型.在Conformer-CTC模型基础上,通过分析对比部分语言模型的特点与效果,将Transformer语言模型通过重打分机制附加至上述模型的训练中,最终得到Conformer-CTC-Transformer语音识别模型.在AISHELL-1数据集上对上述模型进行了试验.结果表明：Conformer-CTC模型相对于纯Conformer (Attention)模型在测试集上的字错率(character error rate,CER)降低了0.49%,而Conformer-CTC-Transformer模型相对于Conformer-CTC模型在测试集上的CER又降低了0.79%.CTC损失可以改善Att...     

类型感知的汉越跨语言事件检测方法

针对汉越跨语言事件检测缺少平行语料,越南语标注困难,需要统一跨语言语义空间,且触发词存在较大的歧义和局限性等问题,提出基于事件类型感知的汉越跨语言事件检测方法。构造类型感知的注意力机制突显事件特征,融入汉越的词位置、词性和命名实体信息,并通过梯度反转(gradient reversal layer, GRL),实现有标注汉语和无标注越南语之间的对抗训练,将从大量汉语新闻文本中学到的语言无关的事件类型特征融入到联合特征提取器中,进行汉越跨语言的无触发词事件检测,缓解越南语的数据稀缺和触发词的局限性。实验中提出的方法较最好的基线模型在准确率上提升了4.32%。     

基于跨语种预训练语言模型XLM-R的神经机器翻译方法

探索将XLM-R跨语种预训练语言模型应用在神经机器翻译的源语言端、目标语言端和两端,提高机器翻译的质量.提出3种网络模型,分别在Transformer神经网络模型的编码器、解码器以及两端同时引入预训练的XLM-R多语种词语表示.在WMT英语-德语、IWSLT英语-葡萄牙语以及英语-越南语等翻译中的实验结果表明,对双语平...     

基于多任务神经网络模型的小肠淋巴瘤检测模型

CT影像是小肠淋巴瘤诊断的主要方式,近年来深度学习在医学影像领域得到广泛应用,可以极大的减轻医生的工作量。针对小肠淋巴瘤肿瘤形态位置信息差异性大,样本量较少且产生假阳性较多的特点,该文提出了一种基于多任务神经网络模型的小肠淋巴瘤检测模型,该模型使用间质瘤和DeepLesion数据集作预训练,在检测模型当中引入了分类模块,该模块可以用于剔除掉数据中非小肠区域,同时便于引入无boundingbox的正常人小肠区域的数据,用于降低模型的假阳性率。为了增强模型对于小目标的检测效果,对FPN网络的浅层结构进行了改进。在包含正常人和患者的数据集上的测试结果表明,提出模型在保证检测精度的同时,可以有效降低模型的假阳性率。     

基于边缘信息和时空马尔可夫模型的运动目标检测方法

针对传统方法易受阴影和噪声的影响,不能精确分割出运动目标的情况,提出了一种基于边缘信息和时空马尔可夫模型的运动目标检测方法。首先对3帧连续的图像进行边缘提取,然后通过差分法运算获得两帧初始标记场,随后对两帧初始标记场进行"与"操作获得共同标记场,利用迭代条件模型求解共同标记场的全局最小值,进而实现近似求解最大后验概率的估算,获得优化的标记场,最后通过阈值分割和形态学处理完成对目标的检测。与多种方法进行比较表明,该方法能对运动目标进行准确检测,且具有很好的鲁棒性。     

基于多头指针的司法事件检测方法

针对如何解决中文司法事件检测中触发词与上下文关系不足以判定事件实例、案件触发词表述相似以及同一个案件中多个触发词识别和分类模糊的问题,本研究提出一种基于多头指针的司法事件检测方法。首先,该方法将上下文信息和罪名特征融合作为输入,使用双向长短期记忆(Bi-directional Long Short-Term Memory,BiLSTM)网络捕获数据依赖关系,深入提取特征;然后,使用多头指针网络对字符间的依赖关系进行建模,有效捕捉句子中的触发词;最后,利用指针标注技术抽取触发词,实现司法事件的有效检测。在公开司法数据集LEVEN上实验验证该方法的有效性,其中微平均和宏平均的F1指标达到了87.53%和78.05%,优于现有模型。该方法不仅显著提高了事件触发词的识别精度,而且也增强了对复杂司法文本中事件上下文关系的把握能力。     

预训练语言模型的可解释性研究进展

基于深度神经网络的大型预训练语言模型在众多自然语言处理任务上都取得了巨大的成功,如文本分类、阅读理解、机器翻译等,目前已经广泛应用于工业界。然而,这些模型的可解释性普遍较差,即难以理解为何特定的模型结构和预训练方式如此有效,亦无法解释模型做出决策的内在机制,这给人工智能模型的通用化带来不确定性和不可控性。因此,设计合理的方法来解释模型至关重要,它不仅有助于分析模型的行为,也可以指导研究者更好地改进模型。本文介绍近年来有关大型预训练语言模型可解释性的研究现状,对相关文献进行综述,并分析现有方法的不足和未来可能的发展方向。     

基于多任务多模态学习的谣言检测框架

谣言检测是对社交网络上传播的信息内容进行真实性鉴别的任务.一些研究表明融合多模态信息有助于谣言检测,而现有多模谣言检测方法具有以下问题：（1）只是将处于不同表示空间的单模态特征简单拼接形成多模态表示,没有考虑多模态之间的关系,难以提高模型的预测性能和泛化能力.（2）缺乏对社交网络数据组成结构的细致考虑,只能处理由文本-图像对的社交网络数据,无法处理由多幅图像组成的数据,且当其中一种模态（图像或文本）缺失时模型无法进行预测.针对上述问题,本文提出了一种多任务多模态谣言检测框架（MMRDF）,该框架由3个子网络组成：文本子网络、视觉子网络和融合子网络,通过从单模态数据中提取浅层至深层的单模特征表示,在不同的子空间中产生特征图,丰富模态内特征,并通过复合卷积结构融合生成联合多模态表示,以获得更好的预测性能.同时该框架可以灵活地处理所有类型的推文（纯文本、纯图像、文本-图像对和多图像文本）,并且没有引入造成额外时间延迟的传播结构、响应内容等数据作为输入,可以在推文发布后立即应用于谣言检测,减少辟谣的时间延迟.在两个真实数据集上的实验结果表明,所提框架明显优于目前最先进的方法,准确率上的提升分别...     

基于预训练语言模型特征扩展的科研论文推荐

针对科研学术论文推荐数据稀疏的问题,提出一种基于预训练语言模型特征扩展的科研论文推荐方法.通过预训练语言模型学习论文摘要的特征表示,将其作为辅助信息构建推荐模型,再将辅助特征和用户-论文标签矩阵共同输入半自编码机模型进行训练,最终实现推荐任务.实验结果表明,相比自编码机等神经网络方法,该方法推荐的科研论文更为准确,可提高科研工作效率.     

基于马尔可夫随机场和多核学习的图像分类

针对词袋模型中的聚集算法对编码矢量之间空间关系信息或者概率分布信息单独建立数学模型,将马尔可夫随机场模型中的拟合参数矢量集合视为编码矢量的聚集矢量集合,计算每个聚集矢量对应的两两图像之间的核矩阵,然后使用基于支持向量机的多核学习方法求解核矩阵的最优线性组合系数以及支持向量系数,最后使用所得训练模型对测试图像进行分类.对于15类场景数据集和Caltech 101数据集,本文算法的分类正确率达到82.67%和62.94%,与其他算法相比具有更高的平均分类正确率.     

基于预训练模型融合深层特征词向量的中文文本分类

为解决传统模型表示出的词向量存在序列、上下文、语法、语义以及深层次的信息表示不明的情况，提出一种基于预训练模型（Roberta）融合深层特征词向量的深度神经网络模型，处理中文文本分类的问题。通过Roberta模型生成含有上下文语义、语法信息的句子向量和含有句子结构特征的词向量，使用DPCNN模型和改进门控模型（RGRU）对词向量进行特征提取和融合，得到含有深层结构和局部信息的特征词向量，将句子向量与特征词向量融合在一起得到新向量。最后，新向量经过softmax激活层后，输出结果。在实验结果中，以F1值、准确率、召回率为评价标准，在THUCNews长文本中，这些指标分别达到了98.41%，98.44%，98.41%。同时，该模型在短文本分类中也取得了很好的成绩。     

基于预训练模型和图神经网络的藏文文本分类研究

在少数民族语言信息处理领域，由于文本分类标注数据的稀缺，相关研究工作进展缓慢.为了充分利用有限的标注数据，更有效地挖掘出文本之间的关系，本文对藏文提出一种基于预训练模型和图卷积神经网络的长文本分类方法CINO-GCN.首先利用在实验数据集上经过微调的少数民族多语言预训练模型(Chinese Minority Pretrained Language Model, CINO)得到藏文长文本的初始文档向量和藏文音节向量.然后根据整个数据集范围的音节共现关系与音节和文档间的TF-IDF值来对藏文文本图进行建模.最后将文本图和结点特征一同输入至图卷积神经网络(graph convolutional networks, GCN)层，得到的文档表示经过Softmax得到分类结果.将该方法在公开的TNCC藏文新闻文本分类数据集上与当前几种主流的深度学习模型进行了多组对比实验，分类准确率达到73.51%,远优于其他基线模型；同时设计了消融实验验证模型各部分对分类结果的增益.实验结果表明，该文提出的模型能够结合预训练词向量和图神经网络的优势，显著提高藏文文本分类的准确率.     

基于多任务学习的口腔白斑与扁平苔藓的分割与识别

口腔白斑属于癌前病变或潜在的恶性疾患范畴,诊断意义尤为重要;口腔扁平苔藓是一种常见的口腔黏膜慢性炎性疾病。两种疾病的症状相似度高导致利用传统目标识别算法难以准确识别。为此,该文提出了一种基于多任务学习卷积神经网络的口腔斑纹类疾病的目标检测、分割与识别算法。该算法通过改进的Mask R-CNN网络提取口腔斑纹类疾病图像的高维特征,以检测出相关病变的具体位置和精准区域,并识别出病损的种类。算法的改进之处在于图像检测与识别的分支网络利用分割子网络的高维特征以关注病变区域的特征,提高了口腔白斑与扁平苔藓识别的准确性。实验表明,该文所提方法相对于现有传统识别方法和常见多任务学习方法具有更高的准确性和敏感性。