搜索引擎蜘蛛抓取页面过程图解
0条评论
10 ℃
学习seo的人经常在网上看到一句话：搜索引擎蜘蛛跟浏览器差不多，都是抓取页面。那么到底哪些一样哪些不一样？Ethan就通过浏览器帮助大家理解搜索引擎蜘蛛怎样抓取页面。
首先看一张图，是用firebug（firefox浏览器的一个著名插件）记录下来的浏览器抓取我网站的情况。
搜索引擎蜘蛛
搜索引擎蜘蛛
搜索引擎蜘蛛
针对图中标识，Ethan解释如下。
1.http协议开始，HTTP协议是典型的请求/响应模式，客户端请求服务器，然后客户端和服务器建立临时通道，然后服务器返回响应。这里浏览器是一种客户端程序，搜索引擎蜘蛛也是一种客户端程序。客户端向服务器发送请求行，然后是请求头信息。图中左上角有“GET www.***.com”，反映了请求行的内容，真正的请求行是下面这行，firebug没有明示：
...