robots协议或者说robots文件对搜索引擎优化中非常重要，但设置出错可能会导致收录下降或不能正常收录。
 
 
一、robots被封禁的问题来源
 
小小课堂SEO自学网为WordPress博客，前几天弄了个“SEO问答”的栏目，是由一个新的CMS系统创建而成的，而这个系统是动态URL，未做伪静态处理。
 
从上可以看出除了SEO问答首页，其余的都是带问号的，然而，WordPress根目录的robots.txt中包含了以下一条：
 
Disallow: /*?*
 
因为这一条的意思是禁止访问网站中所有包含问号(?) 的网址，所以上面的那些带问号的URL就被禁止搜索引擎抓取了。
 
二、解除Robots封禁全过程
 
小小课堂SEO自学网解除robots文件协议的全过程如下：
 
① 去掉robots禁止抓取的规则
 
也就是去掉Disallow: /*?* 。