| 基于fastText模型的词向量表示改进算法 |
| |
| 引用本文： | 阴爱英,吴运兵,郑一江,余小燕.基于fastText模型的词向量表示改进算法[J].福州大学学报(自然科学版),2019,47(3):314-319. |
| |
| 作者姓名： | 阴爱英 吴运兵 郑一江 余小燕 |
| |
| 作者单位： | 福州大学至诚学院计算机工程系，福建 福州 350002,福州大学数学与计算机科学学院，福建 福州 350108,福州大学数学与计算机科学学院，福建 福州 350108,福州大学数学与计算机科学学院，福建 福州 350108 |
| |
| 摘 要： | 传统词向量表示模型往往忽视了单词间的句法形态结构，导致模型预测准确率不高. 为此，提出基于fastText模型的词向量表示改进算法. 首先，在训练模型数据集上，引入stopwords处理技术，剔除一些无意义介词等对预测模型干扰，减少噪声数据；其次，针对fastText模型中n-gram分解格式进行限定，将分解条件设置为符合英文单词的组成结构；最后，去除fastText模型中单词前后缀标记符，减少无用分解对模型预测产生干扰. 实验结果表明，与fastText模型相比，所提出的改进模型在单词关系评分、语义相似性、句法相似性均取得较好的准确率.
|
| 关 键 词： | 词向量 skip-gram模型 fastText模型 自然语言处理 |
Base on fastText model to improve the word embedding of phrases and morphology |
| |
| YIN Aiying,WU Yunbing,ZHENG Yijiang and YU Xiaoyan.Base on fastText model to improve the word embedding of phrases and morphology[J].Journal of Fuzhou University(Natural Science Edition),2019,47(3):314-319. |
| |
| Authors: | YIN Aiying WU Yunbing ZHENG Yijiang and YU Xiaoyan |
| |
| Abstract: | |
| |
| Keywords: | |
|
| 点击此处可从《福州大学学报(自然科学版)》浏览原始摘要信息 |
| 点击此处可从《福州大学学报(自然科学版)》下载免费的PDF全文 |
