想知道网站有没有屏蔽百度蜘蛛的抓取，有两种方法
第一种：查看网站的robots.txt文件，此文件一般在网站的根目录下，显示如下：
User-agent:*
Disallow: /
这样的表示是屏蔽所有搜索引擎蜘蛛的抓取。
User-agent: Baiduspider
Disallow: /
这样就表示屏蔽了百度蜘蛛抓取。
那要怎样才能让百度蜘蛛抓取呢？笔者举个例子，如下：
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-content/
上述的例子中，把Disallow: /改成指定的屏蔽目录就可以了，通常情况下，网站的后台目录是需要屏蔽的，只要指定的要屏蔽的目录，其他页面就会自动默认允许抓取了。另外还有一种方法就是把Disallow: /改成Allow: /，Allow的意思是指允许抓取的目录或页面。
第二种：查看网站的页面代码中是否设置屏蔽
在网站页面代码<head>与</head>之间，有没有<meta name="robots" content="noindex, follow">或者<meta name="Baiduspider" content="noindex, follow">的代码，如果有，把这段代码删除即可。
通过以上两种方法都可以查看一个网站是否有屏蔽了百度蜘蛛的抓取。
