基于规则和统计抽取模型中的主动学习算法

提出了一种文本信息抽取的主动学习算法,在只有部分标记训练文本的情况下,通过主动学习的方法将最有价值的训练文本挑选出来进行标记,该算法能应用到基于包装器模型和基于隐马尔可夫模型的文本信息抽取中,在不影响抽取性能的前提下,能有效降低模型训练过程对已标记训练文本的依赖程度,很大程度减少人工标记训练文本的工作量。     

基于主动学习隐马尔可夫模型的文本信息抽取

对只能获得部分标记的训练文本,将主动学习方法应用到文本信息抽取中,提出了一种基于主动学习隐马尔可夫模型的文本信息抽取方法.在该方法中,通过主动学习,仅将对隐马尔可夫模型的训练最有价值的训练文本挑选出来进行标记.实验表明,通过选择模型信任值的最佳门槛值,该方法在保证文本信息抽取性能的前提下,大大减少了用户标记训练文本的工作量.     

基于聚簇隐马尔可夫模型的文本信息抽取

应用隐马尔可夫模型是文本信息抽取的一种重要方法。对于网上不同来源的文本,由于其格式很不相同,进行混合训练,一般难以得到较优化的模型。将聚簇应用到文本信息抽取中,首先通过一种改进的k-平均方法对训练文本的Markov链模型进行聚簇,然后训练各簇的隐马尔可夫模型,提出了一种基于聚簇隐马尔可夫模型的文本信息抽取算法(C-HMM)。对700篇网上不同来源的文本进行信息抽取仿真实验,结果表明,新的算法能有效地提高抽取性能。     

采用收发极化联合优化的极化雷达目标检测新算法

针对极化雷达在非高斯杂波背景下的未知目标检测问题,建立了一种收发极化可变的全极化雷达测量模型,提出了一种基于广义似然比检测的收发极化优化目标检测器,并得到了检测判决量的闭环形式。在性能分析环节,推导得到了该检测器检测性能的解析表达式,指出了它的恒虚警性质,明确了收发极化矢量与检测性能之间的对应关系。在性能验证环节,首先设计了非高斯杂波背景下的目标检测实验,结果表明,在相同的实验条件下,本文检测算法的抗杂波非高斯性能和检测性能优于现有典型目标先验信息未知的极化检测器,性能接近目标和杂波先验信息已知的最优极化检测器。接着对比了收发极化联合优化、发射极化优化和收发极化固定3种极化雷达的目标检测性能,结果表明,在相同的实验条件下,收发极化联合优化的极化雷达具有最优的目标检测性能。     

基于Word2vector的文本特征化表示方法

针对基于词语统计的特征化表示无法有效提取文本的词义特征的问题,提出一种基于上下文关系的文本特征化表示方法。该方法利用Word2vector提取词义特征,获得词向量;再对词向量进行“最优适应度划分”的聚类,并根据聚类结果将词语替代表示为聚类质心;根据质心及其所代表的词语的词频,构成词向量聚类质心频率模型（semantic frequency-inverse document frequency,SF-IDF）,用于特征化表示文本。在不依赖语义规则的情况下,分别以路透社文本集Reuter-21578、维基百科（extensible markup language,XML）数据为文本数据集,采用神经网络语言模型（neural network language model,NNLM）算法进行文本分类实验,并采用F1-measure标准进行样本分类的效果评估,词向量聚类质心频率模型SF-IDF（semantic frequency-inverse document frequency,SF-IDF）向量与现有技术中词频-逆向文件频率（term frequency-inverse document frequency,TF-IDF）向量的分类效果对比,与TF IDF模型进行对比实验;在Reuter 21578数据集上平均准确率由原有的57.1%提高到63.3%,在Wikipedia XML数据集上平均准确率由原有的48.7%提高到59.2%。SF-IDF模型可适用于现行的基于特征向量的信息检索算法,且较TF-IDF模型有更高的文本相似性分析效率,可提升文本分类准确率。