基于标签和分块特征的新闻网页关键信息自动抽取

针对抽取新闻关键信息需要人工构造或训练生成模板的问题,提出了基于标签和分块特征的新闻关键信息自动抽取方法。该方法首先通过计算新闻网页相关特征来定位新闻正文标签块,然后通过编辑距离定位新闻标题标签块,最后根据正文块和标题块定位新闻发布时间和来源标签块,并通过抽取各块的文本获得目标新闻关键信息。在该方法的基础上提出了针对新闻站点的目标新闻自动抽取框架,并用该框架对10个新闻站点的30个新闻栏目进行了新闻抽取。对抽取到的1 597条新闻随机选择了1 000条进行了实验。实验结果表明,该方法对新闻标题、发布时间、来源、正文均表现出良好的抽取效果,且优于实验对比对象。     

基于扩展标记树的网页正文抽取

本文给出了一种基于扩展标记树的网页正文抽取方法,通过构建网页扩展标记树,实现对网页的清理和抽取辅助信息的完善,并设置节点坐标定位节点位置;以构成正文内容的文本节点作为正文区域标志,挑选具有最大文本覆盖范围的近邻文本节点集,并进行修正形成正文区域;通过近邻优先遍历算法,实现标题节点的定位和附加属性的抽取.实验结果表明:该...     

一种基于决策树的新闻内容抽取方法

文章提出了一种针对中文新闻网站的新闻内容抽取方法,该方法使用特征向量抽取和决策树学习算法来建立新闻网页节点分类模型,并把模型根据不同的网站进行分类,构建一个模型库.当输入一个新闻网页url时,先通过url判断是哪个新闻网站,再从模型库中选择相应的节点分类模型,如果没有对应的模型就使用通用的节点分类模型对其进行抽取,实验证明这种方法可以达到很好的效果.     

一种抽取新闻网页结构化数据的方法

根据统计结果，从阅读角度对网页页面空间的构成进行了噪声与信息实体的划分与判断，改进了传统的DOM模型，增加了层次与样式等属性作为噪声判断的依据，逐级降噪，并利用新闻的标题、时间等外显特性，提出并实现了一种结合正向直接抽取与反向过滤降噪抽取新闻网页得到结构化数据的方法，并使用这种方法进行了大范围的效果验证。验证结果表明：这种方法信息抽取准确率高，对中英文新闻网页都有良好的适用性。     

基于关键词提取的娱乐新闻文档去重算法

去除内容相同或相近的新闻是提高搜索引擎的关键技术之一.提出一种基于关键词提取的新闻去重算法,通过以标题为种子点构建词汇链的方法,能够找到对主题贡献大的非高频词,从而抽取出完整文档关键词集合,该方法能够基于小规模语料库识别新词;为了提高网页去重速度和质量,基于关键词建立去重倒排文档.实验结果显示,该方法与传统方法相比排斥错误率降低了5%,去重时间缩短了20%～30%.     

基于CRF的网页动态关系抽取研究

提出了基于条件随机场(conditional random fields,CRF)的网页动态关系抽取算法.给出了动态关系的定义,建立了动态关系的表示模型,并用一个六维结构来表达动态关系.与传统关系抽取中基于规则或者基于分类的解决方法不同,本文认为可以将动态关系识别问题转化为一个标注问题,并提出了基于CRF的句子层面的关系标注和抽取方法.在本算法中,首先将一个句子通过语义角色标注(semantic role labeling,SRL)系统进行成分识别,然后将语义角色标注结果以及词的POS类型、词组的命名实体类型等作为CRF的训练特征,对句子成分进行标注.最后测试了大量的真实新闻网页,实验结果表明了本文提出算法的实用性和有效性.     

融合结构和内容特征提取多类型网页文本要素

针对网页设计结构与文本内容上的关联特点,提出了融合结构和内容特征的多类型网页文本要素提取方法。依据网页头部标题元素与网页体内容上的联系提取网页标题;提取网页正文区域的网页结构和内容上的多个特征分类网页DOM节点,定义节点的扩展、整合规则获得正文候选块,引入密度值和影响因子从各候选块中甄别正文块;利用发布时间与标题、正文之间的位置关系,通过正则表达式实现发布时间的提取。对国内新闻网站、博客、论坛及贴吧进行抽取试验,结果表明该方法具有较好的效果。     

基于CRFs的新闻网页主题内容自动抽取方法

针对当前新闻网页主题内容抽取方法较少利用网页块之间关联特性这一问题,提出了一种基于条件随机场(CRFs)的新闻网页主题内容自动抽取方法.该方法首先将待抽取网页解析成DOM树,经过滤、剪枝以及压缩处理后,然后按照一定的启发式规则将DOM树切割成块并转换成为一个数据序列,再定义CRFs特征函数来提取各网页块自身状态特征和相...     

基于DOM树及行文本统计去噪的网页文本抽取技术

首先对网页源码文本统一编码转为UTF格式,然后把HTML网页文档转换为XML文档并解析为一棵DOM树。依据XML语言特点及噪声特征规则先对DOM树的噪声节点进行过滤删除,然后依据中文标点符号统计方法提取网页正文内容,并在此基础上利用行文本统计方法去除提取出的正文中存在的噪声信息,最后得到网页正文文本。对来自结构完全不同的主流与非主流的中英文新闻网站上的2 000篇网页进行实验,结果表明本文提出的方法具有较高的抽取准确率,并具有很好的通用性和实现简单的特点,适用于针对互联网中不同网站新闻文本信息的自动采集。     

针对Web论坛的一种结构化数据自动抽取方法

由于网页布局设计的复杂性和用户发表帖子的灵活性,从论坛网页中抽取结构化的数据是一项未能很好解决并非常具有挑战性的任务。本文提出了一种从任意的论坛站点中自动抽取结构化数据的通用解决方案,通过分析网页结构发现列表页和帖子页中的数据记录,并利用一组产生式规则从发现的数据记录中抽取结构化的数据。实验结果表明该方法在抽取论坛数据记录方面明显优于已有的方法,对论坛帖子的标题、作者、发表时间和内容文本块等元数据的抽取达到了较高的准确率。     

网页正文信息抽取新方法

基于包装器的信息抽取方法只能处理一种特定的信息源,而且对网页结构的依赖性强.基于此提出了一种将中文标点符号和HTML树结构作为识别网页正文内容重要特征的网页分析方法,通过统计中文标点符号确定部分正文信息,然后根据正文信息在结构上的相似性确定其他正文信息内容.实验结果表明该方法能有效地剔除网页噪音并提取网页正文,具有较好的通用性和较高的准确性.     

基于语义联系的新闻网页关键词抽取

提出一种基于语义联系的新闻网页度,还考虑词语在具体上下文中的相关性,用词汇链将词语语义联系表示成图形式,在此基础上抽取出新闻网页关键词.对从网易网站选取120篇有核心提示的新闻网页进行测试,实验结果表明,所提出的方法比基于词频的关键词抽取方法和基于<知网>语义相似度构建词汇链的关键词抽取方法,在准确率和召回率上有很大的提高,当抽取关键词个数为3时,比基于词频方法的准确率和召回率分别提高了27.77%和21.38%.     

基于DOM的动态网页信息抽取方法

动态网页是Internet上重要的网页类型,它们通常是由网站的后台数据库通过某种通用的模板构成。本文在研究DOM技术与网页结构的基础上,根据动态Web页面的特点,提出了一种基于DOM的动态网页信息抽取方法,并描述了利用DOM技术实现动态网页信息抽取的算法。     

以本体为指导的Web网页信息抽取方法

针对Web网页中事物描述信息的特点,提出了一种通过本体指导网页信息抽取的方法。首先建立抽取对象的本体模型,并为本体属性概念添加定位信息映射模型,通过映射模型定位和分离样本页中包含语义信息的数据块,结合路径分析算法生成抽取规则,之后利用抽取规则对同类网页中的事物描述信息进行抽取,最后以资源描述框架（RDF）数据格式储存信息。抽取性能测试实验表明,抽取结果具有较高的准确率,与无规则抽取方法相比,具有更高的抽取效率。     

基于序列比对的动态Web信息抽取算法

基于对深网(DeepWeb)网页公共框架的定义,提出一种在信息抽取算法中增加公共框架检测阶段,采用序列比对算法提取公共框架的方法.与原始网页数据相比,去除公共框架的数据域信息对模板抽取更有利.基于真实网站的数据密集型网页集合,测试和对比了序列比对算法中参数不同取值以及公共框架检测阶段在数据量和抽取准确率等方面对信息抽取算法的影响.实验结果表明了算法的有效性.     

热传导PDE和Richardson-Lucy相结合的图像恢复方法

针对模糊含噪图像的恢复问题,提出了一种新的图像恢复方法﹒该方法通过将热传导型偏微分方程(PDE)和Richardson-Lucy(R-L)算法相结合,先对模糊含噪的降质图像用热传导PDE的方法进行去噪,用来提高图像的信噪比;然后在噪声减弱的情况下用R-L迭代算法恢复图像﹒实验结果表明,与传统的R-L算法和均值滤波后R-L方法相比,本文方法能抑制振铃效应的传播及图像噪声的进一步放大,且在峰值信噪比(PSNR)数值上改进1~2 d B﹒     

融入链接相关度策略的PageRank算法

为实现对网页更好地评分,提出了融入链接相关度策略的PageRank算法.以体现人工智能的当代经典PageRank算法为基础,分析其基本思想并指出其在对网页评分中存在的不足,通过引入相关度计算使链接标题的质量和其所指向网页的内容产生联系,实现在网页中各个链接之间的竞争.通过实验和分析,新的算法在不影响原算法的优点和效率的同时能更好地进行网页评分,在网页优先级算法上向人工智能和语义网又迈进了一步.     

基于KNN及相关链接的中文网页分类研究

提出了中文网页相关链接提取算法,能够较好地抽取出中文网页中的相关链接,算法的时间复杂性低,准确率和召回率都令人满意.基于向量空间模型,采用KNN对中文网页进行分类,比较了基于网页标题分类、基于网页正文分类,以及将正文与相关链接结合分类、将标题与相关链接结合分类的分类效果,印证了中文网页中相关链接对网页分类具有积极影响的...     

闪光灯和标题条对新闻视频镜头检测影响的研究

新闻视频中特有地存在着大量闪光灯事件和后期视频编辑时加入的标题条事件,对镜头检测带来很大干扰。开发了一种建立在统计学基础上的稳健帧间差度量算法,克服标题条的突然出现和消失等局部剧烈运动对镜头切分的影响。根据闪光灯在视频流时序上的特征,提出通过对潜在切变位置前后视频内容的再检测来区分闪光灯事件和切变。该方法具有通用性和实时性,可以在视频自动分析或自动索引系统中得到实际应用。     

一种基于改进蚁群优化算法的软硬件划分方法

软硬件划分问题是嵌入式系统的软硬件协同设计中重要的问题之一﹒针对该问题,提出一种基于改进蚁群优化算法的软硬件划分方法﹒通过禁忌搜索算法改进蚁群算法的局部搜索过程,利用禁忌表记录近期的搜索过程,通过禁忌表比对阻止算法重复进入,提高了算法的最优解搜索效率,加快了算法的执行速度﹒实验数据证明改进的蚁群优化算法能提高45%左右的工作效率,同时验证了该算法能够有效地解决软硬件划分问题,提高软硬件协同设计的效率﹒