Python爬虫新手入门教学（十一）：最近王者荣耀皮肤爬取

小鱼儿 2022-10-25 01:28 275阅读 0赞

# 前言 #

本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理。

**Python爬虫、数据分析、网站开发等案例教程视频免费在线观看**

https://space.bilibili.com/523606542

# ![a2b6984089fbb14c9cf0ff607a09682a.png][] #

# 前文内容 #

[Python爬虫新手入门教学（一）：爬取豆瓣电影排行信息][Python]

[Python爬虫新手入门教学（二）：爬取小说][Python 1]

[Python爬虫新手入门教学（三）：爬取链家二手房数据][Python 2]

[Python爬虫新手入门教学（四）：爬取前程无忧招聘信息][Python 3]

[Python爬虫新手入门教学（五）：爬取B站视频弹幕][Python_B]

[Python爬虫新手入门教学（六）：制作词云图][Python 4]

[Python爬虫新手入门教学（七）：爬取腾讯视频弹幕][Python 5]

[Python爬虫新手入门教学（八）：爬取论坛文章保存成PDF][Python_PDF]

[Python爬虫新手入门教学（九）：多线程爬虫案例讲解][Python 6]

[Python爬虫新手入门教学（十）：爬取彼岸4K超清壁纸][Python_4K]

# 基本开发环境 #

*  Python 3.6
 *  Pycharm

# 相关模块的使用 #

安装Python并添加到环境变量，pip安装需要的相关模块即可。

# 一、明确需求 #

爬取所有王者荣耀英雄的皮肤图片壁纸

![Python爬虫新手入门教学（十一）：最近王者荣耀皮肤爬取][Python 7]

![Python爬虫新手入门教学（十一）：最近王者荣耀皮肤爬取][Python 8]

# **二、网页数据分析** #

通过开发者工具中加载的数据，可以查看高清壁纸所对应的url地址。

![Python爬虫新手入门教学（十一）：最近王者荣耀皮肤爬取][Python 9]

司空震 这个英雄有两个皮肤图片，对于王者荣耀没玩过的我，一个应该是原皮肤图片，另一个是购买后皮肤的图片

![Python爬虫新手入门教学（十一）：最近王者荣耀皮肤爬取][Python 10]

https://game.gtimg.cn/images/yxzj/img201606/skin/hero-info/537/537-bigskin-1.jpg
    https://game.gtimg.cn/images/yxzj/img201606/skin/hero-info/537/537-bigskin-2.jpg

这个是两个图片的url：  
**537 ：** 是每个英雄的ID  
**bigskin-1 ：** 这些就是对应的皮肤序列

**首先我们要获取每个英雄的ID**

那就要分析英雄资料列表页的数据内容了。

![Python爬虫新手入门教学（十一）：最近王者荣耀皮肤爬取][Python 11]

104个数据，如果玩王者荣耀的话，应该知道这个数刚好对应的是英雄数吧，但是它是乱码，这个没有关系，实践是检验真理的唯一标准，请求一下这个url看一下就知道了。

https://pvp.qq.com/web201605/js/herolist.json

![Python爬虫新手入门教学（十一）：最近王者荣耀皮肤爬取][Python 12]

请求发现出现的并不是乱码，并且上面的内容貌似就清晰了，想要的数据就有了啊。  
英雄名字、ID、皮肤名字。

**但是出现了新的问题**

![Python爬虫新手入门教学（十一）：最近王者荣耀皮肤爬取][Python 13]

廉颇明明有三个皮肤为什么上面有两个皮肤名字？如果按照这样的情况那就爬取不到所有的皮肤图片了。  
既然获取了英雄的ID值，那试想一下能不能在英雄资料的详情页中，找到这些皮肤的名字，或者皮肤的图片地址呢。

![Python爬虫新手入门教学（十一）：最近王者荣耀皮肤爬取][Python 14]

通过开发者工具搜索图片来源，发现除了本身以外就没有其他的来源了。

**难道后面的序列参数，给一个从1开始的for循环，然后判断是否能够请求，如果出现404说明没有这个图片地址就跳过？虽然说这样貌似可以实现，但是会有一个新的问题，那就是每张皮肤图片，没有名称，这样爬取下来的效果，不知道这张皮肤图片是什么样的。**

**回头又看了一眼，获取英雄ID的json数据接口，因为上面有皮肤的名字，当时就再想如果取了json数据里面的皮肤名字，然后通过字符串分割名字，可以得到一个列表，根据len() 计算列表的元素，那样我就知道，每个英雄的皮肤名字以及序列号了，但是这还需要确定一件事：**

**按照廉颇为例如果是这样取值的话，序列为1 的图片应该是 正义爆表 这个皮肤图片，所以需要对比一下**

![Python爬虫新手入门教学（十一）：最近王者荣耀皮肤爬取][Python 15]

从结果上面来说的话，是没错的。是这样按照这样的思路来爬取图片，并且还能给每张图片以皮肤的文字命名。但是还是会少一些皮肤图片，所以可以在英雄的详情页里面查找是否有包含英雄皮肤名字。再按照上述的方式就可以完美解决问题。

![Python爬虫新手入门教学（十一）：最近王者荣耀皮肤爬取][Python 16]

有了~搞定 一切思路明了，下面总结一下：

1、请求json数据包，获取每个英雄的ID
    2、拼接每个英雄详情页url，请求网页数据获取每个皮肤名字
    3、根据皮肤名字顺序以及英雄ID值，拼接每张图片url地址
    4、保存本地

# **完整实现代码** #

基本上每行代码都有注释

import os    # 内置模块 用于创建文件
    import parsel   # 第三方模块 需要 pip install parsel 安装  用于解析数据 类似 bs4 但是比 bs4 更好用
    import requests     # 第三方模块 需要 pip install requests 安装  用于请求网页数据
    import re       # 内置模块  正则表达式， 提取数据
    
    
    def get_response(html_url):
        headers = {
            'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36'
        }
        response = requests.get(url=html_url, headers=headers)
        # 万能转码方式
        response.encoding = response.apparent_encoding
        return response
    
    
    def get_image_url(hero_id):
        # 英雄详情页URL
        # https://pvp.qq.com/web201605/herodetail/106.shtml
        # f 字符串格式化，等同于  'https://pvp.qq.com/web201605/herodetail/{}.shtml'.format(hero_id)
        hero_url = f'https://pvp.qq.com/web201605/herodetail/{hero_id}.shtml'
        # 请求网页数据
        response = get_response(hero_url)
        # 转换成 Selector 对象
        selector = parsel.Selector(response.text)
        # 提取英雄名字
        hero_name = selector.css('.cover-name::text').get()
        # 正则表达式 提取所有皮肤名字  split 字符串分割 分割之后返回的是一个列表
        skin_name = re.findall('<ul class="pic-pf-list pic-pf-list3" data-imgname="(.*?)">', response.text)[0].split('|')
        # len() 计算有多少个元素
        num = len(skin_name)
        # for 循环 也称遍历 左闭右开  int() 转换成整数类型
        for page in range(1, int(num) + 1):
            # 皮肤图片地址
            # https://game.gtimg.cn/images/yxzj/img201606/skin/hero-info/106/106-bigskin-2.jpg
            image_url = f'https://game.gtimg.cn/images/yxzj/img201606/skin/hero-info/{hero_id}/{hero_id}-bigskin-{page}.jpg'
            # 请求皮肤 图片地址，图片是二进制的数据 所以是取 content
            image_content = get_response(image_url).content
            # 相对路径 传入英雄名字 给文件夹命名
            path = f'{hero_name}\\'
            # 判断路径下面是否有这个文件夹，如果没有就创建文件夹
            if not os.path.exists(path):
                os.makedirs(path)
            # 皮肤图片保存的路径  文件夹 + skin_name[int(page) - 1].split('&')[0] 皮肤名字
            filename = path + skin_name[int(page) - 1].split('&')[0] + '.jpg'
            # filename 路径 mode 模式 wb 二进制的形式  as 重命名
            with open(filename, mode='wb') as f:
                # write 写入保存
                f.write(image_content)
                print(f'正在保存：{hero_name}', skin_name[int(page) - 1].split('&')[0])
    
    
    if __name__ == '__main__':
        # 英雄数据的接口数据URL
        url = 'https://pvp.qq.com/web201605/js/herolist.json'
        # 返回数据 为json数据
        json_data = get_response(url).json()
        # 是一个列表包含 一个一个的字典数据 遍历获得 没一个字典数据
        for i in json_data:
            #  根据字典取值 提取每个英雄的ID
            hero_id = i['ename']
            # 调用函数 传入英雄ID
            get_image_url(hero_id)

![Python爬虫新手入门教学（十一）：最近王者荣耀皮肤爬取][Python 17]

![Python爬虫新手入门教学（十一）：最近王者荣耀皮肤爬取][Python 18]

![Python爬虫新手入门教学（十一）：最近王者荣耀皮肤爬取][Python 19]

![Python爬虫新手入门教学（十一）：最近王者荣耀皮肤爬取][Python 20]

![Python爬虫新手入门教学（十一）：最近王者荣耀皮肤爬取][Python 21]

![Python爬虫新手入门教学（十一）：最近王者荣耀皮肤爬取][Python 22]

[a2b6984089fbb14c9cf0ff607a09682a.png]: /images/20221024/b35b9f0535034a6aa133f6ee74391be6.png
[Python]: https://blog.csdn.net/m0_48405781/article/details/113055904
[Python 1]: https://blog.csdn.net/m0_48405781/article/details/113118597
[Python 2]: https://blog.csdn.net/m0_48405781/article/details/113140580
[Python 3]: https://blog.csdn.net/m0_48405781/article/details/113179478
[Python_B]: https://blog.csdn.net/m0_48405781/article/details/113183911?spm=1001.2014.3001.5501
[Python 4]: https://blog.csdn.net/m0_48405781/article/details/113247830
[Python 5]: https://blog.csdn.net/m0_48405781/article/details/113250671
[Python_PDF]: https://blog.csdn.net/m0_48405781/article/details/113336829
[Python 6]: https://blog.csdn.net/m0_48405781/article/details/113356881
[Python_4K]: https://blog.csdn.net/m0_48405781/article/details/113404843
[Python 7]: /images/20221024/8973515289d24a94b0ed80ed5912d2e8.png
[Python 8]: /images/20221024/25a90a31ee044d1c8d6feaaad3a7f430.png
[Python 9]: /images/20221024/bc01f99f9eec4c2289880434d8f48759.png
[Python 10]: /images/20221024/014d4687d2c54978a5de61dc3e332b82.png
[Python 11]: /images/20221024/c64d7fe65aa94a59b311b017d95d9483.png
[Python 12]: /images/20221024/2581216b6c91467daeea8571affc6929.png
[Python 13]: /images/20221024/21d55366fd984d398291bd50460b4ca1.png
[Python 14]: /images/20221024/2ff8253f39f44d208ad11899fa4e11cd.png
[Python 15]: /images/20221024/17d198d08dcd4c2f825e2732403c55d7.png
[Python 16]: /images/20221024/3ed61ce5cb5b4382a76eebe9ca295c34.png
[Python 17]: /images/20221024/b168b1b9bf8741768bd68488e3bcd4c3.png
[Python 18]: /images/20221024/6376c261949d430e800ba9140d51b815.png
[Python 19]: /images/20221024/ce164e90b19a48cf828eccb32c861772.png
[Python 20]: /images/20221024/78e7196cac83484a869e3b11a09566bf.png
[Python 21]: /images/20221024/3fc717abc02a45bb841e43dedacd4759.png
[Python 22]: /images/20221024/0936a88ff3f74c77a8e2aef215f86c2c.png