汉语单句谓语中心词识别知识的获取及应用

在基于实例的机器翻译(EBMT)的语句相似度研究中,确定谓语中心词以把握句子的整体结构是至关重要的。以标注了谓语中心词的3000句汉语单句作为训练集,将候选词本身的语法属性以及上下文环境作为该候选词的归类特征,通过建立统计决策树模型获取谓语中心词的识别知识。应用统计决策树进行了谓语中心词的自动识别,并获得了较为满意的测试结果。     

助词"的"用法自动识别研究

在“三位一体”虚词用法知识库的基础上, 分别采用基于规则、基于CRF模型和神经网络模型的门循环单元, 对助词“的”用法进行自动识别, 识别的准确率分别为 34.4%, 77.5%和81.3%。在对助词“的”用法进行分析的基础上, 合并了部分用法, 并采用CRF模型和神经网络模型进行粗粒度用法识别, 准确率分别达到81.8%和 84.5%, 得到较明显的提高。期望识别结果可以应用于其他自然语言处理任务中。     

搜索引擎用短语词典建设

百度搜索引擎分词系统中的原短语库是由统计得出,含有大量噪音.委托北京大学计算语言学研究所进行了手工整理标注.为此设计了加工规范,对短语进行了严格的定义,制定了加工操作手册,并开展了手工工程,通过严格的控制保证标注的一致性.共整理短语119 984条,噪音短语比例约占7%.当前该短语词典已应用于百度搜索引擎中,对提高检索效果和减少索引空间都起到一定作用.     

检索主题难易度评价

TREC2004 Robust任务有一项新要求,就是要把检索主题按照从易到难的顺序排列.针对新的要求,提出了基于单词歧义性大小的检索主题难易度模型.根据WordNet和它附带的Brown语料库构造了单词义项分布词典,再把检索主题中的单词按歧义性大小分为7类,通过计算平均单词容易度来度量检索主题的难度.实验结果表明,该模型有一定的预测能力.最后用此模型预测了TREC2004 Robust任务的250个检索主题的难易度.     

最大熵方法中特征选择算法的改进与纠错排歧

对应用最大熵原理建立语言模型的特征选取方法作了改进.用特征模板从训练样本中获得候选特征集,应用频次与平均互信息相结合的方法从候选特征集中选取特征.在选择有效特征时,对候选特征集中出现频次大于某一限值的特征或平均互信息很大的特征直接加入有效特征集,且不是每选一个特征都调用参数的求解过程,从而加快了特征选择的速度.将改进的算法应用于文本纠错建议的排歧,实验证明,所改进的特征选择算法有效.     

唐宋诗之计算机辅助深层研究

介绍了北大计算语言学研究所开发的“唐宋诗计算机辅助研究系统”。该系统以全唐诗(481万字)和宋代部分名家诗(160万字)组成的语料库为基础,运用计算语言学方法对唐宋诗进行分析研究,提取了唐宋诗中的词汇,计5万余条目。在对诗文进行词语切分的基础上,建立了词汇的共现关系、对仗关系以及词汇的作者分布特征信息。系统除了提供面向诗文内容的全文检索功能外,还进一步开发了基于词汇的统计分析和诗句相似性检索等功能,实现了对全唐诗的自动注音。     

词义演化的计算方法

从大规模真实文本中挖掘词义关系是自然语言学习的一项艰巨任务。词义不是静态、一成不变的,随着时代的发展,词义也在不断变迁。如何从错综复杂的词义变迁中,挖掘词义演化的基本规律,准确发现词义的各种变化,并给出量化的分析和建立数学模型,是一个急待解决的问题。根据词语的上下文搭配词分布情况来定义该词的词义,提出一种基于动态语料库的词义演化计算方法统计词义在23年《人民日报》中的分布信息,计算词义在各个时段的变化值,构造词义的演化曲线,并提出一种基于X2分析的方法来挖掘词语的搭配词与时间之间的相关关系。     

基于多特征的语义角色标注一致性计算方法研究

综合语义角色标注语料的格式、标签结构、标签内容和用户可信度等多个特征, 实现一种自动的语义角色标注一致性计算方法。实验证明, 该方法对错误标注的召回率高, 并且速度快, 结果稳定, 可以大幅度地提高语义角色标注一致性检查的效率。     

具范数约束的最小平方解问题

本文研究了下述形式的具范数约束的最小平方解问题: {‖Ax-b‖=min ‖x‖_p≤ρ_0在§1中论述了问题解的存在唯一性,§2中给出了p=2时的解法,在该解法中避开了求解特征值与特征向量的过程,对应§2的算法给在§3中。     

CCD及其应用

介绍与WordNet兼容的中文概念词典(ChineseConceptDictionary,CCD)的结构与构建方法,报告了北京大学计算语言学研究所CCD的研究与工程进展状况,并指出CCD在中文信息处理领域的应用前景.