基于结构树的网页正文内容抽取方法

网页文本抽取是一种在互联网上运用广泛的数据挖掘技术。主要目的是把一个网页的主题内容抽取出来,为Web数据挖掘提供好的基础数据。本文基于网页树形结构进行改进,首先对网页进行分块,把每一块存储在树形结构当中,然后通过对所有块进行方差和阈值计算,选择出主题信息。该方法相比传统的基于正则表达式的抽取方法, 具有简单, 实用的特点, 实验结果表明, 该抽取方法准确率达到 96%以上, 有一定的实用价值。     

基于条件随机场的中文科研论文信息抽取

科研论文头部信息和引文信息对基于域的论文检索、统计和引用分析是必不可少的.由于隐马尔可夫模型不能充分利用对抽取有用的上下文特征,因此文中提出了一种基于条件随机场的中文科研论文头部和引文信息抽取方法,该方法的关键在于模型参数估计和特征选择.实验中采用L-BFGS算法学习模型参数,并选择局部、版面、词典和状态转移4类特征作为模型特征集.在信息抽取时先利用分隔符、特定标识符等格式信息对文本进行分块,在分块基础上用条件随机场进行指定域的抽取.实验表明,该方法抽取性能明显优于基于隐马尔可夫模型的方法,且加入不同的特征集对抽取性能提升作用不同.     

基于分块的网页主题文本抽取

根据网页文本信息的结构和内容特征,提出一种网页主题文本信息的抽取策略,将网页文档表示为DOM标签树的形式,然后根据Web页面的结构特征进行内容块的分割,以网页的文本内容特征为依据识别链接型和主题型内容块,并提取主题型网页的文本信息块.实验结果表明:基于分块的方法有效地实现了链接型和主题型网页的分类,并准确地完成主题型网页的文本信息块的抽取任务,是一种简单、准确的网页信息抽取方法.     

基于CRFs的新闻网页主题内容自动抽取方法

针对当前新闻网页主题内容抽取方法较少利用网页块之间关联特性这一问题,提出了一种基于条件随机场(CRFs)的新闻网页主题内容自动抽取方法.该方法首先将待抽取网页解析成DOM树,经过滤、剪枝以及压缩处理后,然后按照一定的启发式规则将DOM树切割成块并转换成为一个数据序列,再定义CRFs特征函数来提取各网页块自身状态特征和相...     

基于相似度的中文网页正文提取算法

网页正文提取是WEB挖掘的重要步骤。传统网页正文提取方法都需要经过分块这一步骤之后来识别网页正文块,提出了利用行文本之间的内容相似度和标签相似度结合的方法来提取网页正文。该算法避免了传统网页提取算法的分块步骤,在规范网页之后,先提取网页的最大文本行,然后计算每行文本与最大行的内容相似度和标签相似度,再结合内容相似度与标签相似度来提取网页正文。实验中,利用随机抽取的网页进行了测试,其测试精度接近95%,表明该算法在实际中是有效的。     

基于条件随机域的Web信息抽取

为了获取隐藏在Internet中的信息,基于条件随机域模型(CRF),提出了一种Web信息抽取的方法。该方法对网页样本中的每一行加注标签,确定文本特征,建立条件随机域模型,采用拟牛顿迭代方法对样本进行训练,参照学习得到的条件概率分布模型,实现网页搜索结果的抽取。与HMM模型相比,CRF模型支持网页文本的语言特征,抽取准确率高。实验结果表明,使用CRF模型的抽取准确率达到90%以上,高于使用HMM模型的抽取准确率。     

基于自动生成模板的Web信息抽取技术

在网络舆情分析中,人们迫切需要自动化的工具在海量信息中抽取所需要的信息,以供进一步分析利用.针对此问题,提出了基于自动生成模板的Web信息抽取方法,可以消除网页噪声,快速有效地抽取所需的网页信息.该方法通过解析器将Web文档解析成文档对象模型,根据用户需求建立抽取规则,采用自动生成模板机制,并依据模板的抽取规则对网页信息进行抽取.实验证明,该抽取方法具有较高的召回率和准确率.     

WWW网站分类体系包装器WCSW

Web网站按自身的导航体系组织信息,其导航体系中含有分类语义特征.为实现有效的Web信息抽取,针对Web网站的分类体系,提出了基于HTML页面分块算法的Web网站分类体系包装器WCSW(website classification system wrapper),WCSW将整个网站作为包装对象,以分块算法和块语义特征分析为基础,根据抽取规则对网站具有分类语义的导航信息块进行处理.实验结果表明:抽取的Web网站分类层次的准确率较高,实用性较强.     

WWW网站分类体系包装器WCSW

Web网站按自身的导航体系组织信息,其导航体系中含有分类语义特征.为实现有效的Web信息抽取,针对Web网站的分类体系,提出了基于HTML页面分块算法的Web网站分类体系包装器WCSW(website classification system wrapper),WCSW将整个网站作为包装对象,以分块算法和块语义特征分析为基础,根据抽取规则对网站具有分类语义的导航信息块进行处理.实验结果表明:抽取的Web网站分类层次的准确率较高,实用性较强.     

Web信息采集中页面分块技术的研究

本文提出了一个基于网页分块的信息采集系统模型。在页面分析阶段，引入了改进的基于视觉的页面分块方法，这是一种自顶向下的、标签树独立的方法，其目的是检测出Web内容结构，实验结果令人满意。基于分块后的页面，利用一个经验交互式的噪音去除算法Page_CN，定义页面的噪音区间，去除噪音区域，得到更加明确的主题区域。     

一种基于本体的垂直搜索引擎系统模型

为了弥补互联网信息爆炸带来的搜索引擎用户满意度低的问题,提出了一种基于本体的垂直搜索引擎模型。该模型构建一个本体知识树,利用增加了属性提取和相似度算法的NWeb-Crawler对网页进行抓取,并将非相关信息进行隔离;然后,进行网页源代码格式信息和语义信息两方面的抽取;抽取的数据信息通过分词后建立二维索引表,用户的请求通过本体知识树扩展概念集和二维索引表进行检索。该系统模型从入口网页到出口数据逐步贴近检索需求,具有良好的扩展性,对垂直搜索引擎的研究有一定的参考借鉴作用。     

基于分块的网页主题信息自动提取算法

对互联网上大量存在的基于模板的网页,根据其半结构化的特点,提出了一种网页分块和主题信息自动提取算法.该算法利用网页标记对网页进行分块,改进了传统的文本特征选择方法,把网页块表示成特征向量,并根据有序标记集识别主题内容块.用该算法改进了网页分类的预处理过程,提高了分类的速度和准确性.实验表明,对网页进行主题信息提取后再进行分类,可以提高分类系统的查全率和查准率.     

基于条件随机场的中文自动文摘系统

提出了一种基于条件随机场的中文自动文摘方法.用条件随机场来建立词性标注模型.在文摘句抽取时,引入了关键词抽取技术抽取文摘句.在生成文摘时,采用了基于规则的方法去除文摘中的冗余信息,使最后生成的文摘更具有可读性.实例表明该方法能够适应于许多领域,得到了很好的应用效果.     

汽车二维碰撞模型的简便算法

为了对基于动量定理建立的汽车二维碰撞模型进行快速求解,利用矩阵分块处理原理建立了一种简便算法.通过矩阵分块处理可以降低所求模型的矩阵阶数,从而简化了求解过程.对典型汽车碰撞实例的分析表明:应用该方法能够迅速、准确地进行汽车碰撞事故的分析计算.     

基于特征和隐马尔可夫模型的文本信息抽取

基于文本分块提出一种新的文本信息抽取技术,该技术利用文本的语义特征和结构特征,抽取具有特征的状态,以此结果为基础,进一步运用改进的隐马尔可夫模型,抽取剩余的无特征状态.对美国CMU大学CORA搜索引擎研制组提供的数据集中的100篇进行测试,结果显示精确度和召回率比基于单词和传统隐马尔可夫模型的方法都有所提高,并进一步提高了效率.     

基于自适应分块MRF模型的SAR图像变化检测研究

现有的SAR图像变化检测算法仅仅考虑图像的单一像素信息,未考虑图像像素间的空间依赖关系,检测结果易受图像噪声的影响,检测精度较低。将马尔可夫随机场模型引入到SAR图像变化检测算法中,极大地提高了检测精度,但是算法计算量很大,效率极低。基于分块马尔可夫随机场模型的SAR图像变化检测算法极大地提高了检测效率,但是检测过程中采用固定尺寸的图像分块方法,未考虑图像的局部细节特征,检测效果不是很理想。论文首先根据图像局部细节特征将图像划分成尺寸变化的子图像块,然后利用基于马尔可夫随机场模型的SAR图像变化检测算法实现变化检测。实验结果表明,论文提出的算法既保持了很高的检测精度,又极大地提高了检测效率。     

基于条件随机场的中文命名实体识别研究

条件随机场模型是文本信息抽取的重要方法之一,在命名实体识别方面CRF性能要明显优于隐马尔科夫模型和最大熵模型。本文以基于字一级的条件随机场模型实现了中文命名实体识别,取得了较好的识别效果。     

基于自适应分块马尔可夫随机场(MRF)模型的SAR图像变化检测研究

现有的合成孔径雷达(SAR)图像变化检测算法仅仅考虑图像的单一像素信息,未考虑图像像素间的空间依赖关系,检测结果易受图像噪声的影响,检测精度较低。将马尔可夫随机场模型引入到SAR图像变化检测算法中,极大地提高了检测精度,但是算法计算量很大,效率极低。基于分块马尔可夫随机场模型的SAR图像变化检测算法极大地提高了检测效率,但是检测过程中采用固定尺寸的图像分块方法,未考虑图像的局部细节特征,检测效果不是很理想。首先根据图像局部细节特征将图像划分成尺寸变化的子图像块,然后利用基于马尔可夫随机场模型的SAR图像变化检测算法实现变化检测。实验结果表明,提出的算法既保持了很高的检测精度,又极大地提高了检测效率。     

Web信息抽取与语义检索框架

提出了一种Web信息抽取与语义检索框架,采用定制本体模型,针对Web网页特点设计了抽取与语义标引策略,并在检索过程中引入语义推理机制,从而改善了信息检索的效果.最后介绍了基于Jena实现的该框架的原型系统.     

基于区域分块的微内容类网页正文提取技术

通过对微内容类网页正文内容块自动填充的研究，利用网页区域分块技术与HTML的结构特征，提出了一种基于区域分块和内容块自动填充（RAF）的正文提取方法，可用于微内容类网页正文的自动提取，同时运用编程实现提取工具进行实验．结果表明，该方法能够有效、准确地提取微内容类网页的正文信息．