结合主题模型与自监督学习的可控文本生成技术研究

基于大型预训练语言模型的有监督学习方法在可控文本生成任务上取得了优秀的成果，但这些研究都着重于控制生成文本的高级属性(比如情感与主题),而忽略了泛化性问题.现有的基于自监督学习的研究方法则通过句子级别的训练来使模型获得补全整句的能力，使模型做到单词和短语级别的控制生成，但生成与特定属性强相关句子的能力依旧待提升.所以本文提出了一种单词级别(细粒度)与句子(粗粒度)级别相结合的多粒度训练方式：单词级别的主题模型让模型学习主题层面的语义以获得主题到文本的生成能力，句子级别的自监督训练让模型学习整句的表征以获得补全句子的能力.通过主题模型与自监督学习的结合，使模型在单词与短语级别的可控生成阶段取得了更好的效果.实验表明，本文提出的模型在主题契合度以及常规文本生成指标方面优于现有的基线模型.     

基于自建模糊本体的智能信息检索研究

提出一种基于本体的信息检索模型,该模型将信息检索系统与从搜索的数据信息自动构建的本体相结合.使用在本模型中的本体有一般语义本体、领域知识和自动生成、构建的模糊概念层.主要研究基于本体的信息检索模型.描述处理过程及检索机制,并采用TREC的评价方法评估该模型,讨论应用不同类型本体的检索效果和影响.实验结果表明,提出的信息检索模型具有较好的检索效果.     

一种基于主题的文档检索模型

现有信息检索模型难以从主题层次上准确判别文档相似性,为此,本文提出了一个基于主题的文档检索模型(TDRM).TDRM为所有文档建立公共主题空间,把每个文档表示为主题空间上的一个向量,并用向量夹角余弦定义文档相似度.TDRM模型借助Latent Dirichlet Allocation的主题生成方法估计每个文档的主题分布.实验结果证明,与基于词频统计的向量空间模型相比,TDRM模型在相关文档检索方面有更高的检索精度.     

一种基于词语搭配的语义消歧方法

提出一种利用规则与统计相结合的方法用于英汉机译系统中以消解语义级歧义 ,建立了一种根据单词之间的词语搭配关系以消除歧义的模型。该模型利用英汉双语语料选择合理的词组语义 ,对有歧义的单词作出标注。在此基础上给出了语义消歧的学习算法 ,并建立了一套有效的提高召回率的消歧算法。算法在英汉机译系统中的实际应用使正确率提高了约 10 % ,效果显著。     

基于Tag-rank和CCA的在线商品跨媒体检索研究

在线商品跨媒体检索是电子商务领域的研究热点,增强特征判别性以改善检索性能是其核心问题。引入Tag-rank模型计算单词的绝对排序和相对排序权重,以准确刻画单词在文本中出现位置的统计特性,抑制噪声干扰并提升关键词权重,从而增强文本特征判别性,最终改善跨媒体检索性能。实验表明：在文本检索图像中,相对排序类模型和绝对排序类模型检索性能平均提升6.58%和4.99%。在图像检索文本中,若合理选取图像特征检索性能也有提升。所设计的后融合策略能进一步改善检索性能。     

基于Tag-rank和典型相关性分析的在线商品跨媒体检索研究

在线商品跨媒体检索是电子商务领域的研究热点,增强特征判别性以改善检索性能是其核心问题。引入Tag-rank模型计算单词的绝对排序和相对排序权重,以准确刻画单词在文本中出现位置的统计特性,抑制噪声干扰并提升关键词权重,从而增强文本特征判别性,最终改善跨媒体检索性能。实验表明:在文本检索图像中,相对排序类模型和绝对排序类模型检索性能平均提升6.58%和4.99%。在图像检索文本中,若合理选取图像特征;检索性能也有提升。所设计的后融合策略能进一步改善检索性能。     

基于句法特征的冗长查询处理技术

将传统的“词袋”思想进行扩展, 把文档看成由句子组成的“句袋”, 通过依存句法分析得到“句袋”与查询中词间的依存关系。利用两者依存关系的匹配程度, 计算冗长查询和初次检索返回文档之间的相似度, 对初始检索结果进行重排序。通过在TREC标准数据集上的实验, 证明该方法能够较有效地解决查询的冗长导致偏离查询主题和低召回率情况下相关文档排序靠后的问题。特别是对于低召回率的情况, 检索结果的MAP值和P@N都有显著提高。     

基于句法特征的冗长查询处理技术

将传统的"词袋"思想进行扩展,把文档看成由句子组成的"句袋",通过依存句法分析得到"句袋"与查询中词间的依存关系。利用两者依存关系的匹配程度,计算冗长查询和初次检索返回文档之间的相似度,对初始检索结果进行重排序。通过在TREC标准数据集上的实验,证明该方法能够较有效地解决查询的冗长导致偏离查询主题和低召回率情况下相关文档排序靠后的问题。特别是对于低召回率的情况,检索结果的MAP值和P@N都有显著提高。     

面向中文文本的观点检索技术研究

针对观点检索问题,把主题检索和情感分析相结合,通过构造情感词典、程度词典等,利用SVM对文本进行主客观分类,构造正则表达式进行中文句式识别,提出了计算文本褒贬倾向的方法,结合主题相关性和情感强度计算置信度.在COAE2009的任务5-观点检索的评测中,取得了较好的结果.     

Box-Jenkins法在广西GDP预测中的应用

利用Box-Jenkins方法对1950至2004年广西国内生产总值进行了分析,建立了ARIMA模型,检验结果表明该模型有较好的预测效果.并把广西全社会固定资产投资额作为回归项引入到ARIMA模型中,由此建立了ARIMAX模型,从而进一步提高了模型的预测效果.