基于双向语言模型的社交媒体药物不良反应识别 |
| |
引用本文: | 李正光,陈恒,林鸿飞.基于双向语言模型的社交媒体药物不良反应识别[J].广西师范大学学报(自然科学版),2022(3):40-48. |
| |
作者姓名: | 李正光 陈恒 林鸿飞 |
| |
作者单位: | 1. 大连外国语大学语言智能研究中心;2. 大连理工大学计算机科学与技术学院 |
| |
基金项目: | 国家自然科学基金(61806038);;辽宁省教育厅科学研究经费项目(2020JYT03);;教育部人文社科项目(18YJCZH2018); |
| |
摘 要: | 与服药相关的社交文本中隐藏着更具时效和更广泛的药物不良反应信息,但是从相对短小、稀疏的社交短文本中提取药物不良反应非常困难。基于此,本文提出一种双向语言预训练模型和注意力机制相结合的神经网络识别方法。该方法利用双向字符级语言预训练模型提取特定字符级特征,而且在提取药物不良反应的同时,通过注意力机制捕获局部和全局语义上下文信息。此外,为了提高该方法的效率,将字符级特征与词级特征相结合,并采用词级预训练和字符级预训练模型代替协同训练。在PSB 2016社交媒体挖掘共享任务2中的实验结果表明,字符特征在形态学上有助于区分药物不良反应,而注意力机制通过捕获局部和全局语义信息提高了对药物不良反应的识别性能,宏平均F1值为82.2%。
|
关 键 词: | 药物不良反应 社交媒体 双向语言模型 注意力机制 预训练模型 |
|