网络爬虫(又被称爲网页蜘蛛，网络机器人)，是一种依照一定的规则、自动的抓取万维网信息的顺序或许脚本。通常它爲搜索引擎从万维网上下载网页，是搜索引擎的重要组成局部。

抓取战略

链接的抓取战略可以分爲深度优先、广度优先和最佳优先三种。

1、深度化先捜索战略从起始网页开端，选择一个URL进入，剖析这个网页中的URL，选择一个再进入。如此深化地抓取下去，直四处理完一条道路之后再处置下一条道路。

深度优先战略设汁较爲复杂。但是用户网站提供的链接往往最具价值，PageRa址也很高，但每深化一层，网页价值和PageRank都会相应地有所下降。这暗示了重要网页通常跑离种子较近，而过度深化抓取到的网页价值巧低。同时，这种战略抓取深度间接影响着抓取命中率以及抓取效率，对抓取深度是该种战略的关键。绝对于其他两种战略而言。此种战略很少被运用。

2、广度优先捜索战略是指在抓取进程中，在完成以后层次的捜索后，才停止下一层次的捜索。在目前爲掩盖尽能够多的网页，普通运用广度优先搜索办法。也有很多研讨将广度优先搜索战略应巧于聚焦爬虫中。其根本思想是以为与初始URL在一定链接间隔内的网页具有主题相关性的概率很大。另外一种办法是将广度优先捜索与网页过滤技术结合运用，先用广度优先战略抓取网页，再将其中有关的网页过滤掉。这些办法的缺陷在于，随着抓取网页的増多，少量的有关网页将被下载并过滤，算法的效率将变低。

3、最佳优先捜索战略依照一定的网页剖析算法，预测候选URL与目的网页的类似度、或与主题的相关性，并选取评价最好的一个或几个URL停止抓取。它只拜访经过网页剖析算法预测爲"有用"的网页。存在的一个成绩是，在爬虫抓取途径上的很多相关网页能够被疏忽，由于最佳化先战略是一种部分最优搜索算法。因而需求将最佳优先结合详细的使用停止改良，以跳出部分最优点。研讨标明，这样的闭环调整可以将有关网页数量降低30%~90%。

由于对爬取的网页特殊要求，因而运用短网址链接是比拟复杂被匍匐抓取。