码农吸猫必备，【几行代码】就能采集万张猫咪图

小鱼儿 2023-10-01 08:22 2阅读 0赞

> 这篇文章参加了某站的一个小活动，CSDN 同步一份

> 作为一个 Python 爬虫爱好者，当看到涉及猫咪活动的时候，首先想到的就是采集猫咪图，那我们就实现一款猫咪图采集器吧。

### 目标站点说明 ###

本次要采集的站点为：[《素材公社》][Link 1]，该网站提供了丰富的图片资源，这些内容都可以分类采集，本文仅采集与 “猫咪” 相关的素材。

![image.png][]

**本案例用到的技术模块**

*  `requests`：负责请求发送；
 *  `lxml`：负责数据提取。

**目标站点分析**  
列表页分页规则如下所示：

https://www.tooopen.com/img/89_869_1_1.aspx
    https://www.tooopen.com/img/89_869_1_2.aspx
    https://www.tooopen.com/img/89_869_1_{页码}.aspx

通过开发者工具查阅页面元素时，发现页面有 JS 动态加载而成，在 DOM 结构中存在如下代码（下图红框区域），这部分数据为 JSON 格式，在后续的编码过程中，可以直接进行序列化操作。

![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5qKm5oOz5qmh55qu5pOm_size_20_color_FFFFFF_t_70_g_se_x_16]

**获取猫咪大图**

由于列表页展示的是猫咪缩略图，所以需要进入详情页提取分辨率更高的图片，这里采用两步编码，第一步提取详情页地址，第二步从详情页提取大图地址。

拿 [详情页][Link 2] 举例，该部分标签中存 `id=Detail-MaterialID`，既然标签存在 `ID` 值，那后续的提取就变的简单了许多。

![在这里插入图片描述][36ec0eee35384066bda6824c349f0883.png]

### 编码时间 ###

首先封装一个通用的请求函数，原因是存在 3 次请求的发送：

1.  请求列表页，获取详情页地址；
2.  请求详情页，获取猫咪大图地址；
3.  请求猫咪大图，获取图片数据（不过最后一步，没有写到该函数中进行判断）

# 获取网页响应内容
    def common_requests(url):
        try:
            res = requests.get(url=url, headers=headers, timeout=3)
            html_str = res.text
            # format_html(html_str)
            return html_str
        except Exception as e:
            print(e)
            return None

公用请求函数编写完毕之后，就可以编写核心逻辑部分，这部分代码由 2 部分构成：

1.  获取网页响应源码；
2.  解析网页源码，提取详情页地址。

def get_html(url):
        # 列表页响应的源码
        ret_html = common_requests(url)
        if ret_html is not None:
            format_html(html=ret_html)
    
    
    def format_html(html):
        element = etree.HTML(html)
        # 得到详情页地址
        img_name = element.xpath('//a[@class="pic"]/@title')
        detail_links = element.xpath('//a[@class="pic"]/@href')
        name_links = list(zip(img_name, detail_links))
    
        data_more_str = element.xpath('//div[@id="data-more"]/text()')[0]
        # 获取更多图片
        data_more = json.loads(data_more_str)
    
        if len(data_more) > 0:
            name_links.extend([(_['title'], _["url"]) for _ in data_more])
    
        if len(name_links) > 0:
            for name, link in name_links:
    
                # 详情页响应源码
                ret_detail_html = common_requests(link)
                if ret_detail_html is not None:
                    get_big_img(name, ret_detail_html)
    
        else:
            pass

上述代码需要关注的是，提取本文开篇提及**目标数据标签**位置的代码，局部代码如下：

element.xpath('//div[@id="data-more"]/text()')[0]

上述代码还调用了一个函数：`get_big_img()`，该函数目的是获取猫咪大图，函数体如下所示，可同步编写 `save_img()` 函数

def get_big_img(name, ret_detail_html):
        element = etree.HTML(ret_detail_html)
        img_url = element.xpath('//img[@id="imgMainView"]/@src')
        if len(img_url) > 0:
            save_img(name, img_url[0])
        else:
            pass
    
    
    # 保存图片
    def save_img(name, img_url):
        img_headers = {
        
            "Host": "img08.tooopen.com",
            "Referer": "https://www.tooopen.com/view/2298460.html"
        }
        res = requests.get(url=img_url, headers=img_headers, timeout=10)
        data = res.content
        if data is not None:
            with open(f'./imgs/{
          name}.jpg', 'wb+') as f:
                f.write(data)

在请求图片地址时，由于其存在外链限制，所以需要在请求头中增加 `HOST` 与 `Referer` 参数。

最后在增加 `main()` 函数，实现对上述代码的调用，即可完成本案例。

if __name__ == '__main__':
        headers = {
        
            "user-agent": 'Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:94.0) Gecko/20100101 Firefox/94.0'
        }
        base_url = 'https://www.tooopen.com/img/89_869_1_{}.aspx'
        urls = [base_url.format(_) for _ in range(1, 100)]
        for url in urls:
            get_html(url)

运行代码之后，就会得到高清猫咪图，（由于目标站点不属于自己，可能存在版权问题，顾采集之后的图片及时删除）

![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5qKm5oOz5qmh55qu5pOm_size_20_color_FFFFFF_t_70_g_se_x_16 1]

> 本案例顺利完成，欢迎在评论区一起交流+吸猫

[Link 1]: https://www.tooopen.com/img/89_869.aspx
[image.png]: https://img-blog.csdnimg.cn/img_convert/365cfda5853108a5384cb9449e365a61.png
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5qKm5oOz5qmh55qu5pOm_size_20_color_FFFFFF_t_70_g_se_x_16]: https://img-blog.csdnimg.cn/017758204a954cee8a05744b12102289.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5qKm5oOz5qmh55qu5pOm,size_20,color_FFFFFF,t_70,g_se,x_16
[Link 2]: https://www.tooopen.com/view/2223427.html
[36ec0eee35384066bda6824c349f0883.png]: https://img-blog.csdnimg.cn/36ec0eee35384066bda6824c349f0883.png
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5qKm5oOz5qmh55qu5pOm_size_20_color_FFFFFF_t_70_g_se_x_16 1]: https://img-blog.csdnimg.cn/5289eba5d75847f2a8c8f88f2a24a3e9.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5qKm5oOz5qmh55qu5pOm,size_20,color_FFFFFF,t_70,g_se,x_16