【python】之网络爬虫requests库爬取图片

心已赠人 2023-10-06 09:56 9阅读 0赞

### 一：Requests库的安装 ###

**>windows系统：  
搜索中输入CMD**  
![在这里插入图片描述][20200527214210107.png]  
在下面的面板里输入`pip install requests`  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1NjU2MDc3_size_16_color_FFFFFF_t_70]

**>Linux系统  
同理输入命令sudo pip install requests 即可**

### 二：爬取网址上的全部图片 ###

网址：

https://www.icourse163.org/university/view/all.htm

代码：

import requests
    from pyquery import PyQuery as pq
    from urllib.request import urlretrieve
    
    
    def main():
        url = "https://www.icourse163.org/university/view/all.htm"
        result = requests.get(url=url)  # 发起请求
        html = pq(result.text)  # 使用pyquery解析html
        university_list = html('.u-usitys')('img')  # 获取class=u-usitys的元素中所有的img标签
        folder = "images"
        for university in university_list.items():
            img_url = university.attr('src')  # 获取img标签的src属性
            alt = university.attr('alt')  # 获取img标签的alt属性
            # 判断图片类型
            if '.jpg' in img_url:
                file_type = "jpg"
            else:
                file_type = "png"
            path = "%s/%s.%s" % (folder, alt, file_type)  # 拼接图片保存路径
            urlretrieve(img_url, path)  # 下载图片
            print(path)
    
    
    if __name__ == '__main__':
        main()

### 新建一个文件夹images与代码放在一起不然会报错 ###

![在这里插入图片描述][20200528221832373.png]

### 网站爬取的所有学校校徽与校名称图片： ###

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1NjU2MDc3_size_16_color_FFFFFF_t_70 1]

### 三：什么是requests,pyquery，urllib.request.urlretrieve()函数 ###

\*\*1：\*\*Requests 是⽤Python语⾔编写，基于urllib，采⽤Apache2 Licensed开源协议的 HTTP 库。它⽐ urllib 更加⽅便，可以节约我们⼤量的⼯作，完全满⾜HTTP测试需求。

\*\*2：\*\*pyquery允许您对xml文档进行jquery查询。该API尽可能类似于jquery。pyquery使用lxml进行快速的xml和html操作。

pyquery库是jQuery的Python实现，能够以jQuery的语法来操作解析 HTML 文档，易用性和解析速度都很好，和它差不多的还有BeautifulSoup，都是用来解析的。相比BeautifulSoup完美翔实的文档，虽然PyQuery库的文档弱爆了， 但是使用起来还是可以的，有些地方用起来很方便简洁。  
pyquery的使用方法：[Python网络爬虫神器PyQuery的使用方法][Python_PyQuery]  
[PYTHON PYQUERY 基本用法][PYTHON PYQUERY]  
\*\*3：\*\*python3中urllib.request模块提供的urlretrieve()函数。urlretrieve()方法直接将远程数据下载到本地。

urlretrieve(url, filename=None, reporthook=None, data=None)

参数url：下载链接地址  
参数filename：指定了保存本地路径（如果参数未指定，urllib会生成一个临时文件保存数据。）  
参数reporthook：是一个回调函数，当连接上服务器、以及相应的数据块传输完毕时会触发该回调，我们可以利用这个回调函数来显示当前的下载进度。  
参数data：指post导服务器的数据，该方法返回一个包含两个元素的(filename, headers) 元组，filename 表示保存到本地的路径，header表示服务器的响应头

[20200527214210107.png]: https://img-blog.csdnimg.cn/20200527214210107.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1NjU2MDc3_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20200527214357414.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1NjU2MDc3,size_16,color_FFFFFF,t_70
[20200528221832373.png]: https://img-blog.csdnimg.cn/20200528221832373.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1NjU2MDc3_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/20200530163514546.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1NjU2MDc3,size_16,color_FFFFFF,t_70
[Python_PyQuery]: https://www.jianshu.com/p/770c0cdef481
[PYTHON PYQUERY]: https://www.cnblogs.com/gj5379/p/8514535.html