本节文章，甚写措置为甚么网站写了robots阻拦蜘蛛抓取 ，阻拦蜘蛛抓内容仍是内容收录了

有的时辰，我们想要阻拦搜刮引擎抓取全数网站的仍收内容，可是甚写写好了robots后，创作创造网站仍是阻拦蜘蛛抓收录了 ，好是内容没有效

为甚么会多么呢 ？因为robots有奏效时分，这个奏效时分不是仍收我们说了算，而是甚写百度说了算，rboots的阻拦蜘蛛抓奏效时分
，快则几天，内容慢则1-2个月，仍收当我们阻拦抓取
 ，甚写需求奏效时分 ，阻拦蜘蛛抓想让蜘蛛抓取，内容又需求时分，一来一回，就会招致我们的网站排名推迟 ，想想，假定一个网站做了一到二个月，收录都不收录或不好，那排名又甚么时辰会有 。所以 ，不建议阻拦抓取全数网站。

我们在来看一下上面的一段话 ：

"百度lee曾在悍然场合说过：不合的站点略有不合，但凡是在几天内延续奏效。 真实我们可以想象下robots奏效的过程：

1. 蜘蛛创作创造robots文件改削并将信息传回 2.分化改削前后的robots文件 3.删除禁尽予被收录的索引数据 这个过程中肯能还会存在其他的一些法度圭表类型 ，可是因为每个网站蜘蛛爬的频率和网站的权重不合（网站的次要性）而招致蜘蛛创作创造robots变换的时分延时或被措置的优先性不合 ，幻想下场招致的下场就是robots的奏效时分不合 。 经由过程以上分化我们可以得出robots的奏效时分真实不是必定的，假定你的robots变换后良久都没有奏效的话，可以往这里歌咏：tousu.百度.com 不雅不雅不雅不雅鉴赏本文的人还感欢欣乐乐喜悦爱好：搜刮引擎对网页的大年夜小有请求吗？robots.txt的写法为甚么网站有收录却没有排名?为甚么网页收录了又被删除？"

如今除夜白为甚么了吧？