写了篇爬虫文章，收到份律师函？

灰太狼 2022-09-10 12:07 120阅读 0赞

点击上方“**Python爬虫与数据挖掘**”，进行关注

回复“**书籍**”即可获赠Python从入门到进阶共10本电子书

今

日

鸡

汤

王师北定中原日，家祭无忘告乃翁。

大家好，我是早起。

从写公众号开始，不论是私信还是交流群，常常都会有粉丝会问出类似下面的问题

*  xx网站能不能爬？
 *  爬xx数据有没有风险？

其实我**并不是爬虫从业人员，充其量算爬虫爱好者**，去年也转载过一篇相对理性的文章[请不要污名化爬虫！][Link 1]，今年初还因为在公众号分享某网站的反爬破解收到了律师函，算是在作死的边缘徘徊了一波![2ab1e9a5057ad7e687962f10b1f98f27.png][]

今天就简单聊一下爬虫那些事儿。

## 当我们谈论爬虫 ##

在这里，其实我想吐槽一下，对于大多数**非爬虫从业者或者说大部分 Python 爱好者**来说，我们写的“爬虫”和大家谈论的爬虫并不是一个东西。

因为基本上也就`requests.get`或者`selenium`折腾几下，就算你加个请求头、cookies什么的拿到数据，对方网站也有n种方式识别出来你（[别去送死了，以为用Selenium爬虫网站就检测不到？][Selenium]），同时也不会涉及复杂的**反爬、逆向、验证码处理、分布式、爬虫调度**等技术，这样的程序在我看来根本算不上爬虫，顶多算是频率高点的模拟请求。

所以保持对爬虫的敬畏之心是好的，但`requests`或者`selenium`捣鼓两下，返回了一点数据分析一下，这样的程序和我要讨论的不是同一个爬虫，**你随意折腾，一般情况下对方网站懒得理你，也不会有什么法律风险，但也要注意以下几点。**

## robots协议 ##

其次要说的就是`robots`协议，相信如果对爬虫有进一步研究的读者都会知道，每个网站都有`robots`协议这么个玩意，且有些非技术类自媒体常说**一定要遵守`robots`协议**之类的文字！![27ac842c5d24fb3d216150c32d5d8d12.png][]

但正如本文开头提到的文章所说，这个协议是一个**君子协议**，换句话说不论这个网站实际上是否允许你爬，在`robots`协议上都会限制你爬！

拿很多教程用来讲解**Python爬虫入门**的 **「豆瓣250」** 来说，查看豆瓣的`robots`协议如下![13b138037d95b75dcff97352d4242e58.png][]

可以看到也是禁止了所有的请求头`User-agent: *`以及大部分路径下的页面，其中就包括搜索电影信息的`Disallow: /search`，**如果完全遵循该协议，基本什么都玩不了。**

其实不仅是`robots协议`，大部分网站基本上都会在**用户服务协议**上限制你使用任何爬虫，例如养活了很多技术博主的某团和某点评，在服务条款上就给出了明确的说明![8747260d0ae2384b74ee38858cffbd5d.png][]![24a60aa5e25cbee50edf007ba43b4290.png][]

但之所以基本见不到类似的案件主要就像前文所述，大部分人的爬虫程序都是小打小闹，人家懒得理你，但要知道对方是**保留了起诉你的权利**。

所以对于`robots`协议，我们应该是**带着尊重进行谨慎合理的数据爬取**。

## 数据 ##

为什么说「**涉及数据要小心**」？因为大部分爬虫把自己爬进去了的案例都是在**数据上翻车**，不是用来盈利就是涉及隐私数据。

### 1. 别拿来搞钱 ###

首先要申明的也是最重要的一点 **「你爬人家数据想干嘛」**，爬点公开数据自己玩一下基本是没有问题的，但若你把人家数据爬下来**出售/盈利是绝对不行的**。

打个比方说你爬美团数据做了个丑团来竞争，爬大众点评数据做个了付费的小众点评来出售等这都是不可以的，换句话说这和**爬虫程序本身没关系，而是你非法使用对方的数据**，目前因为爬虫喜提牢饭的案件也或多或少和盈利性活动有关![2592cc68c9c3983dbefe1eade85a00ef.png][]

所以要明白就算你**爬下来到本地的数据也是别人的，千万不要用于任何盈利活动！**

### 2. 隐私数据别碰 ###

其次关于数据还有一点需要注意的是，我们都知道**公开的数据大部分可以采集**，但**如果数据涉及到隐私，尤其是公民信息相关数据**，如第二小节里面的文章提到的手机号、身份证、公积金社保等数据，千万不要碰。

就算是公开的数据，也尽量不要使用爬虫程序来**大批量、无限制**的获取，不然小日子会越来越有判头![f9f72f868def772297d921c46159792a.png][]。至于**非公开数据**，例如

*  后台数据
 *  需要一定权限才能获得的数据
 *  付费后才能获得的数据

这类明面上都不让你拿的数据，更别说用爬虫手段获取了。

## 克制 ##

克制，意思就是当对方网站识别出来你的爬虫行为，例如一些非常规的**反爬措施**，或者**因为较高频率的请求而ban掉你的ip**等情况时，我们就需要有所克制，例如合理的绕过反爬、降低请求速度等，**尤其注意不要对对方的正常业务造成影响**。

并且这个 **「正常业务」是否受到影响的解释权完全在对方网站**，就算你1秒请求1次，理论上他也能告你影响其正常业务开展。

其次要克制的就是在成功对某网站成功进行了反爬/逆向等操作后，**不要太得瑟，不要指名道姓的说出对方网站**，就像我一样，仅仅发了篇反爬绕过讲解文章，就光速收到律师函（发文后第二天），当我问到「**为什么那么多人发，就给我发律师函**」，对方表示看到你就要处理你![975e25a5fb16c182b54f63d98f6dbe2b.png][]

结果就像前面说的，对方有多种方式来告你，更别说反爬绕过了，我只能配合删除相关文章。

所以在**反爬、频率控制**等操作上，一定要**克制+谨慎**，尤其注意**在分享反爬技术上不要太明目张胆，一个好的做法是自己复制一个类似的案例网站**（可惜我不会），然后就可以为所欲为的进行技术拆解。

## 补充 ##

需要额外注意的是，如果是**基于别人的需求去开发爬虫程序**，比如帮别人写个爬虫程序赚点零花钱、完成boss的任务等，就需要**明确需求本身是否有侵权行为，以及需求方基于你的爬虫程序是否用于侵权活动**。

例如老板让你用爬虫爬点某网站公开评论数据，然后简单分析下数据写个报告，我认为这是不会有太大风险的，而如果是让你**爬取某付费数据或爬数据用于自己公司的商业行为**，那完全可以拒绝并拉黑，员工被老板坑的案例实在太多了，希望大家在遇到此种情况下可以正确判断。

## 小结 ##

以上仅是从我一个非爬虫从业人员角度的一些看法，其实核心就是爬虫无罪，大多数翻车的案例与爬虫本质上没有太大关系，**在写爬虫程序时需要保持尊重、谨慎的心态，尊重对方网站的反爬、数据，谨慎、合理去写代码**。同时爬虫的水很深，要学的知识很多，绝对不只是 requests 请求两下就算爬虫，基本上涉及到计算、编程开发的方方面面，希望大家可以一起学习、进步。

![fe4e0fb21cf7336ba0043d2866aa2021.png][]

**---\--\---\---\---\--\---** End **---\--\---\--\---\---\--\-**

往期精彩文章推荐：

*  [手把手教你采集京东销售数据并做简单的数据分析和可视化][Link 2]  
    
 *  [手把手教你用Pyecharts库对淘宝数据进行可视化展示][Pyecharts]
 *  [手把手教你用Pandas库对淘宝原始数据进行数据处理和分词处理][Pandas]
 *  [盘点Flask与数据库的交互插件--Flask-Sqlalchemy][Flask_--Flask-Sqlalchemy]

![e344911522d879d6e9bb0b0fee40012d.png][]

欢迎大家**点赞，****留言，****转发，转载，**感谢大家的相伴与支持

想加入Python学习群请在后台回复【**入群**】

万水千山总是情，点个【**在看**】行不行

**/今日留言主题/**

随便说一两句吧~~

[Link 1]: https://mp.weixin.qq.com/s?__biz=Mzg5OTU3NjczMQ%3D%3D&chksm=c053ce8af724479c6a0bf5497137e77c8733c6e0a8c95b0c84a9b52f443bafbfc91e527e2697&idx=2&lang=zh_CN&mid=2247510142&scene=21&sn=b1062448d54e7417f48da3f7d82796ce&token=423052442#wechat_redirect
[2ab1e9a5057ad7e687962f10b1f98f27.png]: /images/20220829/7674ce74a16b43a38f644c4b16e56d8d.png
[Selenium]: https://mp.weixin.qq.com/s?__biz=Mzg5OTU3NjczMQ%3D%3D&chksm=c053cf93f7244685a52fea2ed46c54073e9b3acdfe5a075a59d9ed31d65b8fea3086516022ad&idx=2&lang=zh_CN&mid=2247510375&scene=21&sn=5233386f674e9dc8b68c5760d8c6bc42&token=423052442#wechat_redirect
[27ac842c5d24fb3d216150c32d5d8d12.png]: /images/20220829/64f49d4020bf463895af3b57d8bec9d1.png
[13b138037d95b75dcff97352d4242e58.png]: /images/20220829/1febc34057734ba696ec3c2027430964.png
[8747260d0ae2384b74ee38858cffbd5d.png]: https://img-blog.csdnimg.cn/img_convert/8747260d0ae2384b74ee38858cffbd5d.png
[24a60aa5e25cbee50edf007ba43b4290.png]: /images/20220829/2ad6758422c94382831c0943b5ea930d.png
[2592cc68c9c3983dbefe1eade85a00ef.png]: /images/20220829/21e7a9cb3e634f40a63fed231552176a.png
[f9f72f868def772297d921c46159792a.png]: /images/20220829/ae686a3776ca4db2a45d9ac0ae79cb7c.png
[975e25a5fb16c182b54f63d98f6dbe2b.png]: /images/20220829/8851875df19d49dcb3959734b538127a.png
[fe4e0fb21cf7336ba0043d2866aa2021.png]: /images/20220829/cbbafb59da264f62a94460d23dca4aec.png
[Link 2]: http://mp.weixin.qq.com/s?__biz=MzU3MzQxMjE2NA%3D%3D&chksm=fcc0b39dcbb73a8b9fcf4d04678b7c4eed3092183c9550593be754f51ed4815b5272e7cf249d&idx=1&mid=2247497142&scene=21&sn=2317d8b28822b9df6da8527db8627987#wechat_redirect
[Pyecharts]: http://mp.weixin.qq.com/s?__biz=MzU3MzQxMjE2NA%3D%3D&chksm=fcc0b33ccbb73a2a1f4d56275c695dbe8e9ad08cbd54bffa1f20c4de6a434378c9e63967390a&idx=1&mid=2247496983&scene=21&sn=b3db9b4cf5f129b660448bb3d7beed8c#wechat_redirect
[Pandas]: http://mp.weixin.qq.com/s?__biz=MzU3MzQxMjE2NA%3D%3D&chksm=fcc0b32ecbb73a3899a12142429ce31e0758595bb6f46d69be7559f84d5814a48dfcf9a0b05d&idx=1&mid=2247496965&scene=21&sn=f34b655ead49dadd8abb24463e2e607f#wechat_redirect
[Flask_--Flask-Sqlalchemy]: http://mp.weixin.qq.com/s?__biz=MzU3MzQxMjE2NA%3D%3D&chksm=fcc0b2bdcbb73bab9267a53ac5bd3a6f4af4cc76c521f4c5ebef7aa1351039776291289f2b48&idx=1&mid=2247496854&scene=21&sn=60c64c22e97ce97756857b7dae96996e#wechat_redirect
[e344911522d879d6e9bb0b0fee40012d.png]: /images/20220829/23ee60b098cf451ab240c49b3d66ef42.png