论文部分内容阅读
作为网络技术发展的产物,网络爬虫能够根据自身逻辑借助网页链接来对网页中所存在的数据信息加以分类收集,并将收集到的信息以数据的形式存储在本地的存储介质中,利用这些爬取到的数据,就能够进行信息的收集与分类等用途,是如今网络信息的主要处理方式之一,也是当前网络搜索的一项核心技术。在网页搜索引擎的建设初期,引擎设计人员就要对网页的信息形式进行优化,提高网页的易用程度,并对网络爬虫进行一定程度的优化。