用于多标签文本分类的深度模块化标签注意网络

针对现有文本多标签语义信息挖掘方法仅注重从文本到标签的映射方向，而忽略了从标签到文本的映射方向的问题，本文认为从标签到文本的映射方向可以过滤文本中与标签无关的噪声信息，进而生成只关注于标签信息的文本表示。基于此假设，本文基于注意力机制提出了一种深度模块化标签注意网络，主要由标签注意网络进行多层级联而成。在标签注意网络中构建了双向标签注意单元和自我注意单元，从而得到标签和文本的双向依赖表示。模型在公开数据集RCV1、AAPD、EUR-Lex上与SGM、LSAN、EXAM等算法进行比较，对于现有的最佳性能平均提升0.54%。     

一种采用机器阅读理解模型的中文分词方法

针对中文分词序列标注模型很难获取句子的长距离语义依赖,导致输入特征使用不充分、边界样本少导致数据不平衡的问题,提出了一种基于机器阅读理解模型的中文分词方法。将序列标注任务转换成机器阅读理解任务,通过构建问题信息、文本内容和词组答案的三元组,以有效利用句子中的输入特征;将三元组信息通过Transformer的双向编码器（BERT）进行预训练捕获上下文信息,结合二进制分类器预测词组答案;通过改进原有的交叉熵损失函数缓解数据不平衡问题。在Bakeoff2005语料库的4个公共数据集PKU、MSRA、CITYU和AS上的实验结果表明：所提方法的F₁分别为96.64%、97.8%、97.02%和96.02%,与其他主流的神经网络序列标注模型进行对比,分别提高了0.13%、0.37%、0.4%和0.08%。     

结合预训练和自训练的法律信息抽取增强式方法

在“智慧法院”的建设中，法律信息抽取是法律人工智能任务中最基本的任务。目前，法律信息抽取方法主要基于深度神经网络的监督学习模型。由于现有的监督学习模型需要大量的标签数据，而人工标注的方式会提高法律信息抽取任务的成本，存在只有少样本情况下模型学习性能较差的问题。针对上述问题，提出一种结合预训练和自训练的法律信息抽取增强式方法。首先，利用大规模预训练模型和标签数据训练出一个教师模型；然后，利用改进的文本相似度计算公式从法律文书库中寻找出与训练集相似的无标签法律文本数据，再结合训练完成的教师模型对其生成伪标签数据；最后，将有标签数据和伪标签数据混合起来重新训练出一个学生模型用于下游的法律信息抽取任务。本文在2021法研杯提供的信息抽取数据集上进行验证。与基线模型进行对比，本文提出的结合预训练和自训练的法律信息抽取增强式方法取得了较好的抽取效果。     

跨度语义增强的命名实体识别方法

针对命名实体识别方法存在字与字之间语义信息丢失、模型召回率不佳等问题,提出了一种跨度语义信息增强的命名实体识别方法。首先,使用ALBERT预训练语言模型提取文本中包含上下文信息的字符向量,并使用GloVe模型生成字符向量;其次,将两种向量进行拼接作为模型输入向量,对输入向量进行枚举拼接形成跨度信息矩阵;然后,使用多维循环神经网络和注意力网络对跨度信息矩阵进行运算,增强跨度之间的语义联系;最后,将跨度信息增强后的矩阵进行跨度分类以识别命名实体。实验表明：与传统的跨度方法相比该方法能够有效增强跨度之间的语义依赖特征,从而提升命名实体识别的召回率;该方法在ACE2005英文数据集上比传统的方法召回率提高了0.42%,并且取得了最高的F₁值。     

面向小样本抽取式问答的多标签语义校准方法

小样本抽取式问答任务旨在利用文章给定的上下文片段,抽取出真实的答案片段。其基线模型采用的方法只针对跨度进行学习,缺乏对全局语义信息的利用,在含有多组不同重复跨度的实例中存在着理解偏差等问题。为了解决上述问题,该文利用不同层级的语义提出了一种面向小样本抽取式问答任务的多标签语义校准方法。采用包含全局语义信息的头标签和基线模型中的特殊字符构成多标签进行语义融合,并利用语义融合门来控制全局信息流的引入,将全局语义信息融合到特殊字符的语义信息中。然后,利用语义筛选门对新融入的全局语义信息和该特殊字符的原有语义信息进行保留与更替,实现对标签偏差语义的校准。在8个小样本抽取式问答数据集中的56组实验结果表明：该方法在评价指标F1值上均明显优于基线模型,证明了所提方法的有效性和先进性。     

“工程索道”国家级精品资源共享课建设

由精品课程转型升级为精品资源共享课,对深化教学改革、提高教学质量具有重要意义.首先分析了建设精品资源共享课的内涵与要求,其次以福建农林大学"工程索道"课程为例,分析了其建设精品资源共享课的概况与思路,然后从建设精品资源共享课的课程体系与资源、自主学习与共享、教学改革与创新等方面进行了探索.实践表明,精品资源共享课建设取得了突出成效.     

基于跨度回归的中文事件触发词抽取

在中文事件触发词抽取任务中，基于词的模型会受到分词带来的错误，而基于字符的模型则难以捕获触发词的结构信息和上下文语义信息，为此提出了一种基于跨度回归的触发词抽取方法。该方法考虑到句子中特定长度的字符子序列（跨度）可能构成一个事件触发词，用基于Transformer的双向编码器的预训练语言模型获取句子的特征表示，进而生成触发词候选跨度；然后用一个分类器过滤低置信度的候选跨度，通过回归调整候选跨度的边界来准确定位触发词；最后对调整后的候选跨度进行分类得到抽取结果。在ACE2005中文数据集上的实验结果表明：基于跨度回归的方法对触发词识别任务的F1值为73.20%，对触发词分类任务的F1值为71.60%，优于现有模型；并与仅基于跨度的方法进行对比，验证了对跨度边界进行回归调整可以提高事件触发词检测的准确性。     

基于相关性约束矩阵分解的多标签分类方法

多标签分类是一项重要且具有挑战性的任务，对于场景分类、信息检索和网页挖掘等领域有重要意义.近年来，研究者倾向于挖掘并利用标签相关性以及实例相关性来提升多标签分类的性能，其中利用这类相关性来解决多标签分类中的标签缺失问题一直是机器学习领域的热门研究点，但现有的方法都忽略了标签和实例之间的相关性.针对标签完整和标签缺失的情况，基于矩阵分解的方式分解得到实例和标签的特征表示矩阵，在利用标签相关性和实例相关性建立正则约束的同时，首次建立实例和标签特征表示间的相关性并用以建立正则约束，进而提升算法性能.在三个真实数据集上对提出的算法进行性能验证，实验结果表明，该算法和对比算法相比，获得了最高的预测精度.