基于CRFs的新闻网页主题内容自动抽取方法

针对当前新闻网页主题内容抽取方法较少利用网页块之间关联特性这一问题,提出了一种基于条件随机场(CRFs)的新闻网页主题内容自动抽取方法.该方法首先将待抽取网页解析成DOM树,经过滤、剪枝以及压缩处理后,然后按照一定的启发式规则将DOM树切割成块并转换成为一个数据序列,再定义CRFs特征函数来提取各网页块自身状态特征和相...     

基于深度CRF模型的图像语义分割方法

从图像中提取多种特征向量堆叠为一个高维特征向量用于图像语义分割,会导致部分特征向量的分类能力减弱或丢失。针对此问题,提出了一种结合深度卷积神经网络AlexNet和条件随机场的图像语义分割方法。利用预训练好的AlexNet模型提取图像特征,再通过条件随机场对多特征及上下文信息的有效利用来实现图像的语义分割。与利用传统经典特征的方法进行对比,实验结果表明:在利用AlexNet模型提取特征进行图像语义分割时,Conv5层为最有效的特征提取层,在Stanford background和Weizmann horse数据集下的识别准确率分别为81.0%和91.7%,均高于其他2种对比方法,说明AlexNet可以提取更有效的特征,得到更高的语义分割精度。     

基于条件随机场的中文科研论文信息抽取

科研论文头部信息和引文信息对基于域的论文检索、统计和引用分析是必不可少的.由于隐马尔可夫模型不能充分利用对抽取有用的上下文特征,因此文中提出了一种基于条件随机场的中文科研论文头部和引文信息抽取方法,该方法的关键在于模型参数估计和特征选择.实验中采用L-BFGS算法学习模型参数,并选择局部、版面、词典和状态转移4类特征作为模型特征集.在信息抽取时先利用分隔符、特定标识符等格式信息对文本进行分块,在分块基础上用条件随机场进行指定域的抽取.实验表明,该方法抽取性能明显优于基于隐马尔可夫模型的方法,且加入不同的特征集对抽取性能提升作用不同.     

汉语并列关系的识别研究

针对汉语并列关系的标注方式, 提出一种基于条件随机场模型的并列关系自动识别方法。从语料库中自动抽取并列关系的角色信息, 进行角色标注, 在条件随机场模型的基础上实现并列关系的识别。与基于图的依存分析方法比较, 并列关系的召回率和正确率分别提高了9.1%和13.8%。     

基于条件随机场的医药领域症状信息抽取

为了实现中文医药领域症状信息的自动化抽取,提出了一种基于条件随机场的拆分症状文本特征的抽取方法,将症状文本自动识别拆分为症状主体和症状表现形式自动识别两个部分,再将这两种识别结果作为特征加入到症状信息抽取过程中。信息抽取的结果包含完整的症状信息二元组:症状主体和症状表现形式。实验表明,该方法在症状信息抽取的准确率及查全率上有较大提升。     

基于分层策略的弱指导语义关系抽取

提出一种基于Bootstrapping的弱指导语义关系抽取方法。在初始训练集的选取中使用了分层选取策略。实验表明，初始训练数据集的选择对于弱指导语义关系抽取的性能影响较大，利用分层次选取策略选择的数据具有较高的代表性和均衡性，与使用随机选取的弱指导语义关系抽取相比，基于分层策略的弱指导语义关系抽取取得了更好的性能。     

基于语义联系的新闻网页关键词抽取

提出一种基于语义联系的新闻网页度,还考虑词语在具体上下文中的相关性,用词汇链将词语语义联系表示成图形式,在此基础上抽取出新闻网页关键词.对从网易网站选取120篇有核心提示的新闻网页进行测试,实验结果表明,所提出的方法比基于词频的关键词抽取方法和基于<知网>语义相似度构建词汇链的关键词抽取方法,在准确率和召回率上有很大的提高,当抽取关键词个数为3时,比基于词频方法的准确率和召回率分别提高了27.77%和21.38%.     

基于CNN-BLSTM的食品舆情实体关系抽取模型研究

食品舆情实体关系抽取是构建食品舆情知识图谱的关键技术,也是当前信息抽取领域的重要研究课题。针对食品舆情中常出现的实体对多关系问题,在卷积神经网络(convolutional neural network,CNN)中引入基于位置感知的领域词语义注意力机制;在双向长短时记忆(bidirectional long short-term memory,BLSTM)网络中引入基于位置感知的语义角色注意力机制,构建基于CNN-BLSTM的食品舆情实体关系抽取模型。在食品舆情数据集上进行了对比实验,实验结果表明:基于CNN-BLSTM的食品舆情实体关系抽取模型在食品舆情数据集上准确率比常用的几种深度神经网络模型高出8.7%~13.94%,验证了模型的合理性和有效性。     

基于CRF模型的维吾尔语分词研究

条件随机场能够很好地处理序列标注问题.引入条件随机场进行维吾尔语分词方法研究,主要包括制定词性和分词单独标注与一体化标注集并建成语料库;设计不同特征模板进行训练测试,反复比较实验结果,总结优化以获取最佳的特征模板.在设计特征模板时充分结合维吾尔语语言形态特征,采用了对称特征组合非对称特征的设计方法,并将获得的最佳分词模板应用到分步预测词性和分词实验中.相比单独分词标注,分词时加入词性特征列进行分词与词性一体化标注能展现更优的分词性能.     

基于角色分离的中文事件抽取研究

端到端的事件抽取涉及两个子任务：事件检测和事件元素抽取,当前大多数研究工作并未解决元素抽取中角色重叠的问题,并且忽略了数据集提供的静态信息。文章提出一种基于两个独立编码器的事件抽取模型,通过词典增强的序列标注方法检测触发词和事件类型,再将事件类型、实体类型和边界信息作为元素抽取阶段的补充特征,使用多个角色二分类网络实现“分离式”的元素识别和角色分类,最后将基于静态数据统计得到的角色辨识度对所有分类器的损失函数加权求和,作为最终的损失函数,进而更好地拟合数据集特点。在两个公开的中文数据集ACE2005和DuEE上,实验F1值分别达到57.1%和76.1%,并且该方法有效提高了对角色重叠事件的识别准确率。     

自动抽取web数据的树对齐算法

针对从模板生成的网页中自动抽取web数据的问题,提出了一种新的树对齐算法.该算法能够确定输入网页的最大匹配结构.经过一系列的对齐操作之后,多棵树被合并成为一棵记录着合并前多个网页上的统计信息的合并树,树对齐算法可以发现合并树中的重复模式,在最可能内容块上构建包装器,并按照重复模式从网页上抽取数据.实验结果表明,该算法的抽取结果具有较高的准确性和良好的稳定性.     

模板化网页主题信息的提取方法

为了消除网页噪音,有效地提取基于模板的网页主题信息,提出了一种新的信息提取方法.该方法采用机器自动学习方式生成网页集的模板;以网页链接关系中的锚点文本作为提取目标对模板进行标记,生成对应模板的提取规则;依据模板的提取规则对网页主题信息进行提取.对国内2 588个新闻网页进行了检测.实验结果表明,该方法可以快速、有效地提取模板生成的网页集主题信息,准确率达99.5%.将该方法应用于搜索引擎系统(木棉检索)中,与原来的检索系统相比较,索引文件的大小减少约50%,检索的速度和精确度也得到提高.     

基于DOM树及行文本统计去噪的网页文本抽取技术

首先对网页源码文本统一编码转为UTF格式,然后把HTML网页文档转换为XML文档并解析为一棵DOM树。依据XML语言特点及噪声特征规则先对DOM树的噪声节点进行过滤删除,然后依据中文标点符号统计方法提取网页正文内容,并在此基础上利用行文本统计方法去除提取出的正文中存在的噪声信息,最后得到网页正文文本。对来自结构完全不同的主流与非主流的中英文新闻网站上的2 000篇网页进行实验,结果表明本文提出的方法具有较高的抽取准确率,并具有很好的通用性和实现简单的特点,适用于针对互联网中不同网站新闻文本信息的自动采集。     

ASP环境下的Web动态交叉表生成算法思考

介绍了在ASP环境下通过B/S三层结构,将满足查询条件的数据放进数据库中的临时表、动态更新临时表,然后利用transform生成交叉表的动态交叉表生成算法.     

网页正文信息抽取新方法

基于包装器的信息抽取方法只能处理一种特定的信息源,而且对网页结构的依赖性强.基于此提出了一种将中文标点符号和HTML树结构作为识别网页正文内容重要特征的网页分析方法,通过统计中文标点符号确定部分正文信息,然后根据正文信息在结构上的相似性确定其他正文信息内容.实验结果表明该方法能有效地剔除网页噪音并提取网页正文,具有较好的通用性和较高的准确性.     

基于模板的网页信息抽取技术研究

准确挖掘网页中的信息对检索系统非常重要．提出了一种基于模板的网页信息抽取方法进行网页信息抽取．该方法采用网页抓取与数据模板技术实现了网页信息的自动发现与抽取．在Yahoo网站上的实验结果表明,该方法具有较好的检索效果．     

基于智能的网页信息提取系统的研究与设计

随着Internet的迅速发展，为人们提供了大量的信息，但这些信息都包含在网页中，为了使用这些信息数据，需要将数据从网页中提取出来.该文介绍了一种新的基于智能的网页信息提取系统EIES，通过对RoadRunner的改进和利用，在提取过程中不需人工干预，实现了信息提取的智能化.实验表明，该系统能够更准确、更有效的分类相似网页和提取网页信息.     

基于动态规划提取信号小波脊和瞬时频率

提出一种基于动态规划提取信号小波脊和瞬时频率的方法,其基本思路是：对信号进行连续复Morlet小波变换,由变换得到的小波系数的局部模极大值初步提取其小波脊;为降低噪音影响,在初步提取的各小波脊附近选取部分小波系数,通过施加罚函数平滑噪音干扰引起的小波脊变化的不连续性,将小波脊的提取问题转变为最优化问题,采用动态规划方法计算得到新的小波脊;根据小波尺度与频率的关系由提取的小波脊识别出信号的瞬时频率。将提出的方法运用于含噪调频信号进行数值模拟分析和实测索冲击响应信号分析。研究结果表明,基于连续小波变化的模极大值可以有效提取信号小波脊和瞬时频率;采用施加罚函数的方法可有效降低噪音的影响;基于动态规划的方法可有效提高计算效率。     

一种支持Web服务QoS动态预测的方法

为了在高度动态环境下准确地预测Web服务的服务质量(Quality of service,QoS),该文提出了一种基于半马尔可夫过程(Semi-Markov processes,SMP)和事例推理(Case-based reasoning,CBR)的QoS动态预测方法。该方法首先使用SMP预测Web服务在未来被调用时刻的忙闲状态,在此基础上,利用CBR技术预测Web服务处理具体任务时的QoS。实验结果表明:该预测方法能够大幅度提高Web服务QoS的准确度。研究结果为客观评价和成功选择Web服务提供了可靠的依据。