Web信息采集中页面分块技术的研究

本文提出了一个基于网页分块的信息采集系统模型。在页面分析阶段，引入了改进的基于视觉的页面分块方法，这是一种自顶向下的、标签树独立的方法，其目的是检测出Web内容结构，实验结果令人满意。基于分块后的页面，利用一个经验交互式的噪音去除算法Page_CN，定义页面的噪音区间，去除噪音区域，得到更加明确的主题区域。