基于语义的语句相似度计算研究

在对常用的语句相似度计算进行研究的基础上,指出了这些方法存在的不足.为了满足实际应用的需要,基于语句的语义和组成句子的词语在句子中重要性程度,设计出了具有较高准确率的相似度计算方法,通过实验,证明了这种方法的有效性.     

一种采用机器阅读理解模型的中文分词方法

针对中文分词序列标注模型很难获取句子的长距离语义依赖,导致输入特征使用不充分、边界样本少导致数据不平衡的问题,提出了一种基于机器阅读理解模型的中文分词方法。将序列标注任务转换成机器阅读理解任务,通过构建问题信息、文本内容和词组答案的三元组,以有效利用句子中的输入特征;将三元组信息通过Transformer的双向编码器（BERT）进行预训练捕获上下文信息,结合二进制分类器预测词组答案;通过改进原有的交叉熵损失函数缓解数据不平衡问题。在Bakeoff2005语料库的4个公共数据集PKU、MSRA、CITYU和AS上的实验结果表明：所提方法的F₁分别为96.64%、97.8%、97.02%和96.02%,与其他主流的神经网络序列标注模型进行对比,分别提高了0.13%、0.37%、0.4%和0.08%。     

一种基于字和子串联合标注的汉语分词方法

近年来基于字的词位标注的方法极大地提高了汉语分词的性能,该方法将汉语分词转化为字的词位标注问题,借助于优秀的序列数据标注模型,基于字的词位标注汉语分词方法逐渐成为汉语分词的主要技术路线.针对一些领域文本中含有较多的英文词汇、缩写、数字等非汉字子串,提出了一种基于字和子串联合标注的汉语分词方法,该方法将子串看作和汉字等同的一个整体,采用四词位标注集,使用条件随机场模型深入研究了基于字和子串联合标注的汉语分词技术.在CIPS-SIGHAN2010汉语分词评测所提供的文学、计算机、医药、金融四个领域语料上进行了封闭测试,实验结果表明此方法比传统的字标注分词方法性能更好.     

新闻语料自动分词系统

本文介绍了一个已研制成功的新闻语料自动分词系统—NEWS的结构和功能。着重介绍了汉语分词词典的信息描述和动态设置方法。应用结果表明,NEWS是一个高效的实用系统。     

句首词(成分)对语序的影响

在了解英语句子的语序时，有一条重要的因素应加以考虑，即英语句子的重量（Ｗｅｉｇｈｔ）按通 常的习惯，不是置于句首，就是移于句末． 一般说，为了突出所要强调的内容，往往把不是主语的其它成分置于句首，即Ｒ．夸克所谓的 “主题前移”，因为主题放在句子的最前面会使读者或听者有较深刻的印象。 然而，主题前移往往会引起语序的变化，但有时又不影响语序，其原因何在？是否有某种规律可循？本立拟通过许多例句的分析与比较，对此问题作初步的探讨．     

一种基于中文分词的主观题自动评分优化算法研究

论述了一种基于中文分词的主观题自动评分优化算法的设计与实现,详细介绍了中文分词技术及实现方法,对单词串匹配度从单词长度、单词词形、单词顺序及影响因子四个方面进行算法设计与分析,最后进行实验测试,测试结果表明采用此优化算法进行的自动评分准确率有显著提升.     

PHP+MYSQL环境下的中文分词技术研究

要想在上百亿的网页中找到有意义结果,最重要的是把最相关的结果显示出来,而且要排在最前面,这也称为相关度排序.中文分词的准确与否,常常直接影响到对搜索结果的相关度排序.对PHP编写模拟分词函数进行了研究和分析.给出了PHP MYSQL环境下实现传统分词的实现过程.并在此基础上引入了字典的概念,因其在分词之前已提前调入内存,从而大大提高了分词的效率和准确性.在PHP MYSQL环境下为中文的分词过程实现提供了良好的平台基础,丰富的PHP函数为实现精确的分词提供了语言和语法的支持,MYSQL轻型数据库为字典提供快速的存取.     

一种参数可调的主观题自动阅卷实现

主观题自动阅卷长期束缚着计算机自动阅卷技术的发展．从分析主观题人工阅卷的思路人手,提出以关键词匹配为主、语意贴近度计算为辅的主观题自动阅卷方案．详细介绍了关键技术：自动分词技术、关键词匹配技术和语意贴近度计算方法．综合设计并实现了一种参数动态可调的主观题自动阅卷方法．     

基于复杂网络的大型互联网企业高管分析

采用复杂网络分析特定属性群体。以互联网企业高管简历作为原始数据,以高管姓名和分词系统抽取实体关键词作为节点,个人简历中是否包含关键词作为连接边的条件进行建模,使用复杂网络理论对所建网络进行分析。实验结果表明,部分关键词节点度值存在明显差异,归一化后的特征向量明显大于介数。通过统计分析发现,美国和北京相关背景很重要,同时对比归一化后的介数和特征向量证明两点:第一,社会关系中个体涉及的实体对象比在社会关系网络中的位置更为重要;第二,跨行业跳槽人员的职业背景经历可能会给其在新的企业中的个人发展带来不利影响。