Python爬虫案例教学演示：爬取“绝对领域”二次元小姐姐图片

短命女 2022-08-30 15:55 186阅读 0赞

### **Python爬虫、数据分析、网站开发等案例教程视频免费在线观看** ###

https://space.bilibili.com/523606542

# 前言 #

今天带大家采集一个二次元图片网站, 里面漂亮的小姐姐层出不穷，图片的数据量也是比较大的, 来一睹为快吧! !

![dff6dcf0f086741c87bb7ff49f0923c6.png][]

# 开发环境介绍： #

python 3.6  
pycharm  
requests  
parsel  
os

# 爬虫案例数据采集一般步骤: #

1.  找数据对应的链接地址
2.  代码发送地址的请求
3.  数据解析<解析我们要的数据>
4.  数据保存(本地)

# 1. 首先第一步，找到对应的链接地址 #

因为是静态网页，所以数据很容易就找到了

![fdf85b346e2ffa5d97d40ca428f57526.png][]

# url编码: 中文在请求和响应的时候转码, http协议默认不支持中文, 由 % 字母 数字
    request_address = f'https://www.jdlingyu.com/tag/%e5%b0%91%e5%a5%b3/page/{page}'
    # 代表浏览器身份标识
    headers = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36'}

# 2. 代码发送地址的请求 #

response = requests.get(url=request_address, headers=headers)
    html_data = response.text  # 字符串 -- 正则
    print(html_data)

请求一下，看看对不对

![495e3f74dc4b34cfc70e8f9eab496b10.png][]

# 3. 数据解析<解析我们要的数据> html数据, xpath #

selector = parsel.Selector(html_data)  # 转换数据类型
    
    lis = selector.xpath('//div[@id="post-list"]/ul/li')  # 所有相册的标签
    
    for li in lis:  # 一个一个操作相册标签对象
        pic_title = li.xpath('.//h2/a/text()').get()  # 相册标题
        pic_href = li.xpath('.//h2/a/@href').get()  # 相册地址
        print(pic_title, pic_href)

![0607c9aafef547305632231707f20a6c.png][]

# 4. 保存数据 #

with open(f'img\\{pic_title}\\{pic_name}', mode='wb') as f:
        f.write(img_data)
        print('保存完成:', pic_name)

###  ###

### 运行完整代码 ###

![d9bc88c8659c1b966a2834e6614a26c3.png][]

![e60467b6b4a87d4d4d0abc879a9bf6a1.png][]

# 完整源码加[Python学习交流群：1039649593][Python_1039649593]找管理员免费获取 #

[dff6dcf0f086741c87bb7ff49f0923c6.png]: /images/20220829/e7210874e5bf4ec1afd956bf669b3d13.png
[fdf85b346e2ffa5d97d40ca428f57526.png]: /images/20220829/ebb24ea1f4f74ebfb771b5e99935e72e.png
[495e3f74dc4b34cfc70e8f9eab496b10.png]: /images/20220829/2f404ba8c3bc4f03ad7d6e070257d634.png
[0607c9aafef547305632231707f20a6c.png]: /images/20220829/6c4084f7b5fd4498b8b096e393cfa5d3.png
[d9bc88c8659c1b966a2834e6614a26c3.png]: /images/20220829/3fd845f632614e0d8988798be29781ac.png
[e60467b6b4a87d4d4d0abc879a9bf6a1.png]: /images/20220829/72508a09a63f48be882b448253a27d96.png
[Python_1039649593]: https://jq.qq.com/?_wv=1027&k=SBLaYU2c