基于深度学习的威胁情报领域命名实体识别

为了从来源不同的威胁情报中提取关键信息，方便政府监管部门开展安全风险评估，针对威胁情报文本中英文混杂严重以及专业词汇生僻导致识别困难的问题，在BiGRU-CRF模型基础上，提出了一种融合边界特征以及迭代膨胀卷积神经网络(IDCNN)的威胁情报命名实体识别方法.该方法根据人工构造的规则词典将边界清晰的实体例如英文单词进行转化以减少模型在处理较长文本时容易造成的信息损失，通过IDCNN和双向门控循环单元(BiGRU)进一步提取了文本的局部和全局特征.通过在威胁情报语料库上进行实验，结果表明所提的方法模型在相关评价指标上均优于其他模型，F值达到87.4%.     

林业碳汇提升的主要原理和途径

降低大气CO₂含量、缓解气候变暖,已成为当今科学界和国际社会广泛关注的前沿热点问题。林业碳汇作为基于自然解决方案实现“碳达峰、碳中和”的一个重要途径,在应对全球气候变化方面发挥着基础性、战略性、独特的作用。林业碳汇不仅是森林碳汇,林产品碳汇也起着不可忽视的重要作用。林业碳汇潜力提升是一个森林生态系统净碳收支平衡和全产业链林产品碳汇的调控过程,主要包括无机碳的植物固定(光合过程、净生产力等)、土壤有机碳的周转与固定(动植物和微生物残体分解与黏土固定)、林产品碳的固持(林产品产量、木材转换效率、种类和使用寿命等)等3方面的调控原理。笔者从森林碳汇和林产品碳汇两个维度阐述了提升林业碳汇的主要原理、方法或途径。提升林业碳汇潜力的主要途径包括:①通过适地适树、适钙适树人工造林,以增加森林面积;②以完善森林经营措施来增加森林净生产力;③利用矿质黏土对有机碳的保护来增加森林土壤碳汇;④提升林产品产量和改进林产品用途以增加其寿命。在全球尺度上,增加森林面积或提高森林净生产力3.4%,或用可再生能源替换薪炭木材,再将薪炭木材用于制造锯材和人造板,都可以连续30 a每年增加1 Pg的碳汇量。减少全球森林火灾面积1/4或增加森林土壤有机碳含量0.23%,也可以增加碳汇1 Pg。此外,林业固碳还有巨大潜力可以挖掘。     

基于BERT和多头注意力的中文命名实体识别方法

针对双向长短时记忆网络-条件随机场(bi-directional long short-term memory-conditional random field,BiLSTM-CRF)模型存在准确率低和向量无法表示上下文的问题，提出一种改进的中文命名实体识别模型。利用裁剪的双向编码器表征模型(bidirectional encoder representations from transformers,BERT)得到包含上下文信息的语义向量;输入双向门控循环单元(bidirectional gated recurrent unit,BiGRU)网络及多头自注意力层捕获序列的全局和局部特征;通过条件随机场(conditional random field,CRF)层进行序列解码标注，提取出命名实体。在人民日报和微软亚洲研究院(Microsoft research Asia,MSRA)数据集上的实验结果表明，改进模型在识别效果和速度方面都有一定提高;对BERT模型内在机理的分析表明，BERT模型主要依赖从低层和中层学习到的短语及语法信息完成命名实体识别(named entity recognition，NER)任务。     

面向低资源命名实体识别的BiLSTM-Att-BCRF模型

在低资源场景下,由于受训练数据量少的限制,现有模型的参数不能拟合到预期效果,所以导致模型识别实体的性能不佳.该文提出一种融入伯努利分布(Bernoulli distribution)的新型损失函数,使模型能较好拟合数据.此外,该文在BiLSTM-CRF模型基础上融合多层字符特征信息和自注意力机制,并结合基于伯努利分布的新型损失函数,构建了BiLSTM-Att-BCRF模型.BiLSTM-Att-BCRF模型在20%的CONLL2003和20%的BC5CDR的数据集上,F₁值在BiLSTM-CRF模型基础上分别提升了7.00%和4.08%,能较好地适应低资源命名实体识别任务.