论文部分内容阅读
本篇论文以去除网页噪声，整合网页内容为目标，提出了面向主题型网页，根据网页规划布局抽取网页内容的方法。算法首先分析原始网页的DOM结构生成标签树，再根据标签分类和对应节点的信息对标签树自底向上进行划分，并依据划分块的文字密度，链接密度及图片密度，分类信息块。进一步，提炼网页主题的文本特征向量，采用基于词条空间的文本相似度计算，获取划分块的主题相关度，以主题相关度为量化基准剔除噪声，识别网页主旨内容，重构页面描述。这一算法被应用于面向人才资讯的信息采集项目中，实验表明，算法适用于主题型网页的“去噪”及内容提