一个基于金融混合数据的智能问答模型

智能问答系统（Question Answering System,QAS）是一种让人类通过自然语言与机器进行问答来获取信息的人机交互系统,是自然语言处理的一个集综合性与广泛性于一体的应用．现有的智能问答系统模型研究主要考虑单一型数据．然而,现实生活中结合表格和文本的混合型数据十分普遍,如金融领域的财务报表．本文对已有的财务报表智能问答模型进行改进并提出了一个新模型,该模型有更好的效果．     

AlphaGo?不,智能语音离生活更近

2016年春节联欢晚会上,一场优必选的机器人表演令数亿观众耳目一新.时隔不久,2016年3月,谷歌人工智能AlphaGo大战韩国棋手李世石引起巨大轰动,这场较量把人工智能推向了前所未有的关注高度,用一种具象化的游戏对决将人工智能的抽象思维呈献在大众眼前. 智能语音:人工智能“优秀代表” 人工智能的发展依赖于对大脑的彻底解读,遵循大脑思维的发展过程.同人脑一样,人工智能的主干是五种智能:首先是计算智能,包括最浅层的计算、存储和记忆功能;第二是感知智能,即听、看、闻、触、尝;第三是执行表达智能,也就是动作、姿势、说等行为表达;第四是认知智能,是比较高级的、在行为背后更高层的智能,即理解、反馈、决策、学习、进化;最高级的就是抽象思维智能,包括逻辑演绎和主动推理.     

文本挖掘手册：分析非结构性数据的高级方法

信息时代使得存贮大量的数据变得容易。在万维网、内联网、新闻专线以及其他地方可以利用的文件的增长趋势是压倒一切的。尽管我们可以利用的数据的数量在持续地增加，但是我们吸收和处理这些信息的能力并未能同步增加，而搜索引擎只要通过几个按键就可以获得越来越多的信息，越来越多的文件则进一步加剧了这个矛盾。文本挖掘是一个新的激动人心的领域，通过利用源自数据挖掘、机器学习、自然语言处理、信息检索以及知识管理等技术来试图解决信息超负荷的问题。文本挖掘涉及了文件收集的预处理（文本分类、信息析取、术语析取）、中间表示的存贮、分析这些中间表示的技术（例如：分布分析、集群、趋势分析、关联规则以及结果的可视化）。     

基于自然语言处理的材料领域知识图谱构建方法

如何将材料领域知识与机器学习技术相结合是材料智能研究迫切需要解决的问题. 知识图谱(knowledge graphs, KGs)作为一种高效的知识组织模型, 可以有效地对材料领域知识进行表示、组织和推理, 从而提升材料机器学习算法的智能水平. 研究了基于自然语言处理技术的材料领域知识自动获取方法, 提出了基于双向门控循环单元-图神经网络-条件随机场(bidirectional-gated recurrent unit-graph neural network-conditional random field, Bi-GRU-GNN-CRF) 的材料实体关系联合抽取方法, 以及基于改进 TextRank 算法的材料工艺知识抽取方法, 实现了从专利、论文等材料文献中自动获取材料实体、关系、工艺流程等材料领域知识. 实验结果表明, 所提出的材料知识获取方法具有较好的精度和召回率, 能够有效提升材料知识图谱的知识覆盖度. 基于该方法构建的材料领域知识图谱的知识覆盖率达到了80%, 能够为材料智能研发提供更加全面的知识支撑. 同时, 构建了非调制特殊钢、铝基复合材料、热障陶瓷涂层材料 3 个材料领域知识图谱, 并进行了应用探索, 进一步验证了知识图谱为材料研发提供知识支撑的可能性.     

基于RoBERTa-wwm-ext与混淆集的中文文本校对模型

中文文本自动校对技术是自然语言处理领域中的主要任务之一.针对中文文本中字粒度级别的错误(音似、形似和义似替换错误),提出一种基于RoBERTa-wwm-ext与混淆集的中文文本校对模型.该模型在RoBERTa-wwm-ext结构的基础上，利用transformer结构中的encoder机制读取整段中文文本序列，然后通过softmax函数计算当前字符权重分布来判断该字符是否错误，并在纠错任务中引入混淆集，使用混淆集找到该错字对应的候选字符，最后结合掩码语言模型给出的修改建议，完成文本校对.在SIGHAN2014与SIGHAN2015中文拼写检查数据集上，设计字粒度级别的中文文本校对实验，对比模型性能.实验结果表明，与当前主流的中文文本校对模型相比，该模型的中文文本校对效果表现更佳，文本校对的准确率、召回率、F1值均有所提升.     

基于句类模型的人机对话系统语句库设计

针对目前人机对话系统智能性较低、语句库领域受限的现状,设计了面向日常生活常用话题的机器人回复语句库,用于日常生活聊天.语句库以汉语句子类型中的句类为模型,构建了涵盖日常生活常用的28个话题范围的900句语句库.通过关键词语的替换可以扩展出更多的语句,从而用于更广泛领域的人机对话交流,增加了语句库的完善性,尽量避免了出现答非所问的情形.同时该构建方法降低了人工构建语句库的工作量,而且由于语句库较小,确保了系统实现的实时性.人机交互对比实验表明:该语句库实现了使用较少的语句就基本可以进行日常话题的对话,满意度高于对比网络聊天机器人小i,使得人机交互更加友好.     

基于小样本机器学习的跨任务对话系统

对话系统效果主要取决于自然语言理解与对话管理组件的表现。在构建特定领域的对话系统时,标注数据和语料不足、面临多轮对话中不合作对话的干扰,而且很难将一个构建完的系统扩展到新的领域。在少量特定领域样本的基础上,将来自机器翻译模型的双向编码表征预训练模型应用到意图识别模块,在对话管理组件提出了基于神经图灵机的循环嵌入对话策略,使系统具备了更强的特征抽取能力,并初步具备了跨任务对话能力。该对话策略通过神经图灵机对历史对话和系统行为给予了特别关注,在用户和系统记忆中使用了不同的注意力机制,有效地学习了对话状态与系统行为的向量嵌入。实验结果表明,在样本不足的垂直领域对话测试中更好地完成了意图识别与槽位填充,基本避免不合作对话导致的对话状态错乱,同时能够将学到的对话控制策略迁移到另一领域。     

结合预训练和自训练的法律信息抽取增强式方法

在“智慧法院”的建设中，法律信息抽取是法律人工智能任务中最基本的任务。目前，法律信息抽取方法主要基于深度神经网络的监督学习模型。由于现有的监督学习模型需要大量的标签数据，而人工标注的方式会提高法律信息抽取任务的成本，存在只有少样本情况下模型学习性能较差的问题。针对上述问题，提出一种结合预训练和自训练的法律信息抽取增强式方法。首先，利用大规模预训练模型和标签数据训练出一个教师模型；然后，利用改进的文本相似度计算公式从法律文书库中寻找出与训练集相似的无标签法律文本数据，再结合训练完成的教师模型对其生成伪标签数据；最后，将有标签数据和伪标签数据混合起来重新训练出一个学生模型用于下游的法律信息抽取任务。本文在2021法研杯提供的信息抽取数据集上进行验证。与基线模型进行对比，本文提出的结合预训练和自训练的法律信息抽取增强式方法取得了较好的抽取效果。