Python爬虫帮你抢秒杀

末蓝、 2024-04-03 12:33 63阅读 0赞

### 什么是爬虫？ ###

网络爬虫又被称为网页蜘蛛，网络机器人，是一种按照一定的规则，自动地抓取网络信息的程序或者脚本，另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。

简单来讲，爬虫就是一个探测机器，它的基本操作就是模拟人的行为去各个网站溜达，点点按钮，查查数据，或者把看到的信息背回来。就像一只虫子在一幢楼里不知疲倦地爬来爬去。

你可以简单地想象：**每个爬虫都是你的「分身」。就像孙悟空拔了一撮汗毛，吹出一堆猴子一样**

百度: 其实就是利用了这种爬虫技术：每天放出无数爬虫到各个网站，把他们的信息抓回来，然后化好淡妆排着小队等你来检索

抢票软件: 就相当于撒出去无数个分身，每一个分身都帮助你不断刷新 12306 网站的火车余票。一旦发现有票，就马上拍下来，然后对你喊：土豪快来付款

**总结**: 你基本可以认为你能用浏览器,各种手机app等网络软件做的事情,爬虫都可以做,只不过爬虫可以不舍昼夜的同时比你快n倍的去做这些事情

**爬虫的「骚操作」** 爬虫也分善恶

像谷歌这样的搜索引擎爬虫，每隔几天对全网的网页扫一遍，供大家查阅，各个被扫的网站大都很开心。这种就被定义为「善意爬虫」但是，像抢票软件这样的爬虫，对着 12306 每秒钟恨不得撸几万次。铁总并不觉得很开心。这种就被定义为「恶意爬虫」（注意，抢票的你觉得开心没用，被扫描的网站觉得不开心，它就是恶意的。）

注意，这张图显示是全世界，不是全中国

而每一个色块背后，都是一条真实而强大的利益链条

![6ec547c89d0641b78b497733e8912230.png][]

### 爬取数据的基本流程 ###

**1.起始URL地址**

准备URL

URL（Uniform Resource Locator）网络资源定位符 其实就是俗称的网址

![04b257041025468680227f452b54ab04.png][]

![c705ff92c8ae4560979d8b8cf58d19b5.png][]

**2.发出请求获取响应数据**

requests : 可以模拟浏览器的请求，比起之前用到的urllib，requests模块的api更加便捷（本质就是封装了urllib3）

官方文档 ：[http://cn.python-requests.org/zh\_CN/latest/][http_cn.python-requests.org_zh_CN_latest]

安装 ：pip3 install requests

requests.get(**www.baidu.com**) : 通过requests向服务器发送请求

response = requests.get()

response.content() : 获取响应的数据

![8850e8ff3f064dea96ed932a7cf059ad.png][]

**3.对响应数据解析**

![f15113f9e0b14cd9bfa91fa04b1f1d04.png][]

**4.数据入库**

**S****elenium****自动化操作**

**selenium** **安装**

安装：pip install selenium

**Chrome** **驱动下载**

https://chromedriver.storage.googleapis.com/index.html

### 如何学习python爬虫？ ###

**教程推荐：**

[Python爬虫帮你抢秒杀][Python]

[Python入门到精通（19天全）][Python_19]

[黑马程序员180分钟轻松获取疫情数据，Python爬虫入门课\_i][180_Python_i]

[黑马程序员Python爬虫基础，快速入门Scrapy爬虫框架\_i][Python_Scrapy_i]

[6ec547c89d0641b78b497733e8912230.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/0f830bd295d542979b654610edb5ff84.png
[04b257041025468680227f452b54ab04.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/66c0d472e8394a50bb8249806ad50e4a.png
[c705ff92c8ae4560979d8b8cf58d19b5.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/86d591adb88f422494b508524f422a87.png
[http_cn.python-requests.org_zh_CN_latest]: http://cn.python-requests.org/zh_CN/latest/
[8850e8ff3f064dea96ed932a7cf059ad.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/16b6d4961dcd42499ebf1003d9c6cb9d.png
[f15113f9e0b14cd9bfa91fa04b1f1d04.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/4974df9f4c6f418b944597a24ee069b6.png
[Python]: http://yun.itheima.com/open/715.html
[Python_19]: http://yun.itheima.com/course/542.html?capid=1
[180_Python_i]: https://www.bilibili.com/video/BV1464y1c7Eq/?spm_id_from=333.999.0.0
[Python_Scrapy_i]: https://www.bilibili.com/video/BV1jx411b7E3/?spm_id_from=333.999.0.0