实际上，我们的日志中，有很多的baiduspider是他人伪装的，要想解决这个问题。我们必须在验证baiduspider真伪上下功夫，这篇文章详细的介绍了爬虫的鉴别方法。 我们在根据网站日志分析搜索引擎蜘蛛抓取网页的记录时，实际上很多站点都是有一些伪装称baidusp