这篇小文章，小编主要分享是我们如何正确的使用爬虫技术，不去触感敏感的信息。
 
在正确使用网络爬虫技术，去抓取我们所需要的信息，才是这门技术的意义所在。
 
首先小编和大家介绍一下，网络爬虫的使用规模。
 
在我们需要爬取网页信息时，这种爬虫技术是属于小规模的，数据量小，爬取速度不敏感。通常我们可以用requests库进行编写。
 
在我们爬取网站或系列网站的信息时，比如说金融资讯的相关信息，这种爬虫技术就属于中规模的，数据量较大，爬取速度敏感，通常使用scrapy库进行编程！
 
在我们需要爬去整个网络系统的信息时，就属于大规模的搜索引擎去完成的。比如说百度，google一类的搜索引擎！就属于技术开发了，不属于个人玩的！
  
在网络爬虫爬去信息时也是对服务器进行一种骚扰的，会为服务器带来巨大的压力和资源开销！
 
以及服务器上的知识产权问题，如果贸然的利用爬取的资源进行牟利的话，会带来法律的风险！
 
还有使用网络爬虫技术对他人隐私进行爬去，从而泄露个人信息，也是会触犯法律的。
 
所以我们要正确地使用网络爬虫技术，就要遵守robots协议。
 
这个协议告知我们哪些内容可以爬去，哪些内容不能爬去。
 
所以我们在爬取网站的信息时，要对robots.txt进行识别，然后在进行内容抓取。
 
我们学会技术，同时也要遵守技术，小编今天知识分享就到这里了，感谢大家一路对小编的支持，最后请大家多多关注和收藏！每天为大家现上精彩的内容，欲知下篇文章，请看明天更新！