基于BERT-Encoder和数据增强的语法纠错模型

语法纠错是自然语言处理领域的重要任务之一，中文由于语法规则灵活复杂，中文语法纠错一直是一项具有挑战性的任务.本研究将中文语法纠错视为机器翻译问题，将错误的语句作为源语句翻译成正确的目标语句.使用Transformer模型作为基线纠错模型，首先，利用BERT学习到的参数初始化编码器(BERT-Encoder)使模型更好的收敛，然后，利用动态掩蔽作为数据增强方法，解决训练所需的带错误标注的平行语料不足的问题.使用MaxMatch Scorer作为评价指标，F_0.5相比基线模型提升了9.94%,实验结果表明该方法对模型纠错性能的提升具有有效性.     

基于RoBERTa-wwm-ext与混淆集的中文文本校对模型

中文文本自动校对技术是自然语言处理领域中的主要任务之一.针对中文文本中字粒度级别的错误(音似、形似和义似替换错误),提出一种基于RoBERTa-wwm-ext与混淆集的中文文本校对模型.该模型在RoBERTa-wwm-ext结构的基础上，利用transformer结构中的encoder机制读取整段中文文本序列，然后通过softmax函数计算当前字符权重分布来判断该字符是否错误，并在纠错任务中引入混淆集，使用混淆集找到该错字对应的候选字符，最后结合掩码语言模型给出的修改建议，完成文本校对.在SIGHAN2014与SIGHAN2015中文拼写检查数据集上，设计字粒度级别的中文文本校对实验，对比模型性能.实验结果表明，与当前主流的中文文本校对模型相比，该模型的中文文本校对效果表现更佳，文本校对的准确率、召回率、F1值均有所提升.