基于HTML Parser的网页信息提取技术研究

在互联网上信息量激增,迫切需要一些自动化工具帮助人们在海量信息源中迅速找到真正需要的信息。文章基于开源项目HTMLParser包,以提取中关村笔记本频道产品信息的文本信息和图片信息为例,提出了信息提取系统设计方案,给出了文字信息和图片信息提取算法。     

基于HTML Parser的网页信息提取技术研究

在互联网上信息量激增,迫切需要一些自动化工具帮助人们在海量信息源中迅速找到真正需要的信息。文章基于开源项目HTMLParser包,以提取中关村笔记本频道产品信息的文本信息和图片信息为例,提出了信息提取系统设计方案,给出了文字信息和图片信息提取算法。     

基于统计的网页净化模板生成算法

同一个站点的大部分网页拥有几乎相同的DOM标签树,处理后的标签树作为一个模板,该站点的所有网页只保留这个模板中叶子节点包含的内容,由此可以实现这个站点的所有网页的净化。首先对一个站点内的一组样本网页提取内容块树,针对每个树统计每个标签节点包含的文本字数,同级节点只保留字数最多的一个,从而生成单边子树UST;然后把这组UST合并,同级节点中出现次数最多的即为重要内容节点,把这些节点串起来就构成重要单边子树PUST;最后比对每个父节点与子节点之间的字数,当比值超过一个阈值时则删除子节点以下的所有节点,从而生成该站点的重要单边子树SPUST。这个SPUST就是该站点的网页净化模板。     

基于DOM的动态网页信息抽取方法

动态网页是Internet上重要的网页类型,它们通常是由网站的后台数据库通过某种通用的模板构成。本文在研究DOM技术与网页结构的基础上,根据动态Web页面的特点,提出了一种基于DOM的动态网页信息抽取方法,并描述了利用DOM技术实现动态网页信息抽取的算法。     

基于分块的网页主题信息自动提取算法

对互联网上大量存在的基于模板的网页,根据其半结构化的特点,提出了一种网页分块和主题信息自动提取算法.该算法利用网页标记对网页进行分块,改进了传统的文本特征选择方法,把网页块表示成特征向量,并根据有序标记集识别主题内容块.用该算法改进了网页分类的预处理过程,提高了分类的速度和准确性.实验表明,对网页进行主题信息提取后再进行分类,可以提高分类系统的查全率和查准率.     

基于特定领域的网页文本提取与实现

提出了针对小范围的网页文本提取的一种方法.结合对东方财富网的股评网页的HTML文件进行网页文本分析,设计出基于特定领域的网页结构特征的网页文本提取算法.该算法的设计与普通的广义网页提取算法的设计相比,设计简单,针对性较强,提取效率较高,且对股票市场的网页信息的识别与处理起到基础性的作用.     

基于Ontology的面向主题的网页关系识别

对万维网上同一主题下的大量网页之间进行特定语义关系的分析,并将其应用于搜索引擎中,可以实现智能化的查询和提供其他个性化服务.本研究借助于Ontology中的关系实例,在网页分类的基础上对网页之间的关系进行自动识别,同时提出了网页关系识别规则的自动生成和优化方法.将网页关系识剐过程应用于Dolphin系统中,使用户能够在系统的指导下,快速地定位到与起始页面有一定语义关系的其他类型页面中,大大节省了浏览和寻找的开销.     

网页正文信息抽取新方法

基于包装器的信息抽取方法只能处理一种特定的信息源,而且对网页结构的依赖性强.基于此提出了一种将中文标点符号和HTML树结构作为识别网页正文内容重要特征的网页分析方法,通过统计中文标点符号确定部分正文信息,然后根据正文信息在结构上的相似性确定其他正文信息内容.实验结果表明该方法能有效地剔除网页噪音并提取网页正文,具有较好的通用性和较高的准确性.     

面向主题的网页搜索系统

论述了一个面向主题的网页搜索系统（SATWP）,该系统与智能代理的辅助下具有搜索,导航,以及信息反馈等功能。在判断网页与查询主题的相关度时改变了单纯的从网页内容上考虑的方法,即从网页自身的URL,网页间的关系以及网页的内容来判断。SATWP采用在客户端的智能代理记录用户的浏览行为,并把有关信息反馈给服务器,服务器根据这些信息随时调整数据库中相关网页的重要性顺序,增加了自身的学习功能,试验结果表明,该系统具有较高的准确度。     

基于模板的网页信息抽取技术研究

准确挖掘网页中的信息对检索系统非常重要．提出了一种基于模板的网页信息抽取方法进行网页信息抽取．该方法采用网页抓取与数据模板技术实现了网页信息的自动发现与抽取．在Yahoo网站上的实验结果表明,该方法具有较好的检索效果．     

基于特征相关学习的网页信息提取方法

为了给出网页信息提取方法的数学形式化的理论分析,首先用一维空间域的信息函数来表示网页信息,并通过分析网页过滤过程,推导出网页信息过滤定理.然后通过分析网页的相似性,推导并提出一种基于相关过滤的网页特征信息的提取理论.在这个理论基础上,融合基于标识规则和基于内容规则的两种方法,提出一种基于特征相关学习的网页信息提取方法.导出的特征提取理论和实验结果表明这种方法具有较好的准确率.     

基于CRF的网页动态关系抽取研究

提出了基于条件随机场(conditional random fields,CRF)的网页动态关系抽取算法.给出了动态关系的定义,建立了动态关系的表示模型,并用一个六维结构来表达动态关系.与传统关系抽取中基于规则或者基于分类的解决方法不同,本文认为可以将动态关系识别问题转化为一个标注问题,并提出了基于CRF的句子层面的关系标注和抽取方法.在本算法中,首先将一个句子通过语义角色标注(semantic role labeling,SRL)系统进行成分识别,然后将语义角色标注结果以及词的POS类型、词组的命名实体类型等作为CRF的训练特征,对句子成分进行标注.最后测试了大量的真实新闻网页,实验结果表明了本文提出算法的实用性和有效性.     

一种抽取新闻网页结构化数据的方法

根据统计结果，从阅读角度对网页页面空间的构成进行了噪声与信息实体的划分与判断，改进了传统的DOM模型，增加了层次与样式等属性作为噪声判断的依据，逐级降噪，并利用新闻的标题、时间等外显特性，提出并实现了一种结合正向直接抽取与反向过滤降噪抽取新闻网页得到结构化数据的方法，并使用这种方法进行了大范围的效果验证。验证结果表明：这种方法信息抽取准确率高，对中英文新闻网页都有良好的适用性。     

浅谈动态网页技术

互联网上许多浏览者常对丰富多彩的网页流连忘返 ,赞叹不已 ,但却不知精彩的动态网页为何种技术所制作。本文试图通过各种动态网页技术特点的简单介绍 ,使想要了解这项技术的读者有一个总体的认识。     

视频信号中实时字幕信息的提取方法

为了在视频图像中进行字幕信息的实时提取 ,提出了一套简捷而有效的方法。利用视频图像中文本的频率特性与空间连续性 ,采用改进的投影阈值分割方法对视频中的文本进行实时分割。针对视频字幕在时间上的冗余特性 ,提出了一个基于有限状态机的动态缓冲的模型 ,在提高分割的正确率的同时减小了识别运算量。在识别部分 ,采用了一个 3层前向神经网络进行实时的识别。该算法已经成功地应用于卡拉 OK MTV歌词字幕信息同步提取系统中。     

基于关键词图的社交话题抽取及情感极性判别

研究结合社交媒体特点,充分考虑标签文本和内容文本信息,融合了传统的LDA话题模型对社交文本信息进行话题聚类,从而实现了对社交数据的话题发现,与此同时,文章提出了基于关键词图模型构建话题特征,并结合支持向量机模型进行文本情感极性判别。研究在开放微博数据集和COAE2014公开评测数据上进行了相关实验,实验证明了有效的关键词图模型能进一步克服中文语义的模糊性和歧义性。     

基于概率模型的名人网页相关度评价

天网知名度系统是根据用户预定信息提供个性化检索的信息服务系统.该文提出了一种基于概率模型的名人网页相关度评价模型.改进Okapi BM25公式,引入HTML标记权重系数针对不同领域名人特点引入名人属性权重系数.分别采用伪反馈和用户反馈两种方法进行相关反馈,实现对评价模型中权重参数的自动优化.实验表明,该模型有效地提高了系统相关度评价质量,并且发现用户反馈的效果受实体属性信息词数影响,属性信息越丰富反馈后性能提高的概率越大.