教女朋友一周学会 python 爬虫_1

刺骨的言语ヽ痛彻心扉 2023-07-13 04:19 2阅读 0赞

今天开始我将简单介绍一下网络爬虫，并开始带大家学习如何写爬虫

**一、爬虫介绍**

**1、什么是爬虫？**

你可以把互联网想想成一个巨大的蜘蛛网，而爬虫就是一个小蜘蛛在网的各个节点中穿梭。 就像探测机器一样，基本操作就是模拟人去浏览各个网站，浏览数据，查看信息。

**2、爬虫可以做什么？**

**（1）抢火车票：**

这应该是爬虫行业中使用量最大，很多抢票软件每秒对12306扫数千数万次。

**（2）刷浏览量：**

爬虫重灾区应该是微博无疑了，爬虫代码指向微博的某一个接口，可以获取用户的微博列表，微博动态，等等信息。

有的人用爬虫指挥机器人，来打开某人的微博进行点赞、评论或留言。也就是微博上所谓的僵尸粉（去年某坤微博转发过亿次还记得吗）。

还有很多更“好玩”的用处，这里就不废话了

**二、正式开始学习**

想写爬虫，首先要了解 URL：

统一资源定位符（Universal Resource Locator），简单说就是表示资源的地址（我们说某个网站的网址就是 URL）。

**1、urllib.request.urlopen（）函数**

> **urllib 是一个软件包，收集了几个用于处理URL的模块 ：**  
> .  
> **urllib.request ： 用于打开和阅读URL**  
> .  
> **urllib.error ： 包含由引发的异常 urllib.request**  
> .  
> **urllib.parse ： 用于解析URL**  
> .  
> **urllib.robotparser ： 用于解析robots.txt文件**

**urllib.request—用于打开URL的可扩展库**

urllib.request.urlopen（url，data = None，[ timeout，] *，cafile = None，capath = None，cadefault = False，context = None ）
    ##打开url，字符串或 Request 对象

data：访问URL时传输的数据

timeout：参数以秒为单位，检测是否超时

# Time：2020/03/11 1:07
    # environment:IDLE
    >>> import urllib.request
    >>> response=urllib.request.urlopen("http://www.baidu.com")
    >>> type(response)
    <class 'http.client.HTTPResponse'>
    # 返回 HTTPResponse 类型数据

--------------------

**2、实例检测某网站的编码**

>>> import chardet
    >>> import urllib.request
    >>> url = input('input address：')
    # 输入网址
    >>> response = urllib.request.urlopen(url)
    # urllib.request.urlopen信息传给response
    >>> infor = response.read()
    # 返回获取到的页面内容
    >>> encode = chardet.detect(infor)['encoding']
    >>>print(encode)
    input address：http://www.baidu.com
    utf-8

--------------------

**3、检测网站状态**

“200”则说明网站正常

“404”就说明不正常

>>> import urllib.request
    >>> response=urllib.request.urlopen("http://www.baidu.com")
    >>> code=response.getcode()
    >>> print(code)
    200

--------------------

今天晚上一直看 LOL 直播，现在有点撑不住了，都凌晨一点半了

早起还要上网课

上完网课再更