众所周知，通用搜索引擎的诞生使得用户可以非常方便地从海量的信息资源里获取需要的信息。但是，通用搜索引擎提供给用户的信息的数量仍然是巨大的，其中包含了大量的用户不需要也不关心的信息，因此用户还要再做人工过滤。随着用户对搜索引擎的日渐熟悉，用户已经开始不满足于这样的精确率低的系统。鉴于此，可以用主题爬虫取代其中的通用爬虫构建主题搜索引擎，为用户提供信息检索服务，满足用户伴随信息多元化增长而不断扩展的信息需求。　　 本文对主题爬虫关键技术进行研究，提出了一种主题爬行方法，综合考虑网页的文字内容和链接结构来指导主题爬虫的爬行。首先给出了一种基于语义分析的主题预测算法C-SUBSPACE，算法共两部分，第一部分借鉴一个用于检索的算法，训练主题爬虫的主题判别器，第二部分使用这个判别器来判别一篇文档是否主题相关，即是否为体育网页。对该算法做了两个实验，先做了一个离线实验来评估该算法的查准率与查全率，再做了一个在线实验测试该算法的搜集效率，并与已有的经典分类器算法SVM、BAYES进行比较，两个实验结果表明，这一方法好于后两者，具备一定的有效性。然后本文从链接考虑，根据链接的类型和链接的锚文字提出了一种链接评估方法，计算链接的相关度。　　 本文根据提出的方法，设计并实现了一个基于链接及语义分析的主题爬虫系统，系统用C-SUBSPACE算法判别网页文档的主题相关性，同时，利用提出的链接评估方法来指导主题爬虫的搜索策略，并与Best First算法以及PageRank算法的爬行方式进行比较，实验表明，本文设计的系统在下载主题相关网页的效率上要好于后两个算法。