《爬虫100例专栏》复盘更新，再捋一遍这100篇文章，更新1,2,3,4 篇（收藏再看）

﹏ヽ暗。殇╰゛Y 2023-01-24 04:27 3阅读 0赞

> Python 爬虫 100 例专栏，即将售卖出 900 份啦，作为一个良心博主，我们把这 100 例在复盘一下吧。  
> ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hpaGVsbA_size_16_color_FFFFFF_t_70]  
> 爬虫技术，是一个时效性极强的技术体系，也是技术体系中非常有名的一门杂学，因为它需要：

*  你比前端工程师略懂一点点前端知识；
 *  你比后端工程师略懂一点点数据库知识；
 *  你比网络工程师略懂一点点网络协议；
 *  最好你会安卓和 iOS 开发；
 *  数据分析与数据挖掘要了解；
 *  加密解密要懂一点点吧；
 *  调度算法要懂一点点吧；
 *  为了识别验证码，要求会一点点机器学习不过分吧；
 *  上面都会了，分布式的架构和使用，网络底层协议，网络安全攻防是不是也应该掌握呢？
 *  ……

如你所愿，这是爬虫的体系。[Python 爬虫 100 例专栏][Python _ 100]，只是给你打开爬虫世界的一扇门，给你发了一个邀请函，能进到这个世界，才能知道这个世界的美丽。

## 复盘爬虫 100 例 ##

在 100 例中采集的目标站点，随着时间的推移，有的网站消失了，有的更新了，有的增加了反爬，**有的给橡皮擦发了律师函**，是时候整体复盘一下啦。

我们将通过 15~20 篇博客，将《爬虫 100 例》整体梳理一遍，确定每一篇文章的可行性，如果网站消失，也会给大家补充一个替代网站，同时将梳理所有代码到 CSDN 的代码托管平台中。

补更博客之后，《爬虫 100 例》专栏将进行最后一次调价，即到达本专栏的终点价格 `49.9 元`，抓紧订阅喽。

更新过程中，我会将大家的评论全部都回复一遍，如果有特殊性问题，将一一进行补充。

### 案例一：在 CentOS 中安装 Python 环境 ###

这个没啥好说的了，毕竟如果给我一次重写的机会，我一定在 windows 中安装，不过大家可以忽略，就当知识扩展了，毕竟后文都是在 Windows 上进行的代码编写。

### 案例二：命运多喘的一个案例了 ###

这个案例被下架了不下 10 次，因为涉及的网站被和谐掉了，导致现在案例 2 的名称是 **爬取 X 图网**，更难的是其它平台也把这个 X 图网给屏蔽了，不知道这个网站闯了多大的祸。

这个不得不更新一下啦，在原案例中，咱使用的是 CentOS 系统，更新案例就不用了，直接切换到 Windows 即可。

原案例其实是一个与漂亮女生有关的网站，那我们在保留核心技术不变的情况下，就把它换成装修效果图爬取吧。

目标网站切换为如下网站：`https://home.fang.com/album/s24/`，这美丽的装修图指定不会被和谐掉。

![《爬虫100例专栏》复盘更新，再捋一遍这100篇文章，更新1,2,3,4 篇（收藏再看）][100_100_1_2_3_4]  
由于是复盘类文章，技术的线性学习还是要依据原文，复盘文只做对比更新（有可能会全部更新）

本网站的页面规则如下，与原网站基本一致。

https://home.fang.com/album/s24/1/
    https://home.fang.com/album/s24/2/
    https://home.fang.com/album/s24/3/

第一步用生成了待抓取地址，重点逻辑查看注释即可。

import requests
    all_urls = []  # 我们拼接好的图片集和列表路径
    
    class Spider():
        # 构造函数，初始化数据使用
        def __init__(self, target_url, headers):
            self.target_url = target_url
            self.headers = headers
    
        # 获取所有的想要抓取的 URL
        def getUrls(self, start_page, page_num):
    
            global all_urls
            # 循环得到URL
            for i in range(start_page, page_num+1):
                url = self.target_url % i
                all_urls.append(url)
    
    
    if __name__ == "__main__":
        headers = { 
            'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64; rv:52.0) Gecko/20100101 Firefox/52.0',
            'HOST': 'home.fang.com'
        }
        target_url = 'https://home.fang.com/album/s24/%d/'  # 图片集和列表规则
    
        spider = Spider(target_url, headers)
        # 先测试 10 页数据
        spider.getUrls(1, 10)
        print(all_urls)

第二步进行数据提取，在原案例中使用了多线程，还使用了生产者和观察者模式，现在想想，好像调调一上来就起的太高了，不知道有多少同学在这里上来就翻车了。

新案例的目标网站，禁止鼠标右键查看源码，你可以通过直接点击 F12 唤醒开发者工具即可。

由于页面已经修改，顾正则表达式提取逻辑需要调整。

**修改 Producer 类中的正则表达式**

all_pic_link = re.findall('<a href="(.*?)" title=".*?" target="_blank">',response.text,re.S)

再次修改之后的如下所示，果然有一定的学习量，重点逻辑都在注释中进行了体现。

import requests
    import threading  # 多线程模块
    import re  # 正则表达式模块
    import time  # 时间模块
    
    # 图片列表页面的数组
    all_img_urls = []
    # 初始化一个锁
    g_lock = threading.Lock()
    
    # 我们拼接好的图片集和列表路径
    all_urls = []
    
    
    class Spider():
        # 构造函数，初始化数据使用
        def __init__(self, target_url, headers):
            self.target_url = target_url
            self.headers = headers
    
        # 获取所有的想要抓取的 URL
        def getUrls(self, start_page, page_num):
    
            global all_urls
            # 循环得到URL
            for i in range(start_page, page_num+1):
                url = self.target_url % i
                all_urls.append(url)
    
    
    # 生产者，负责从每个页面提取图片列表链接
    class Producer(threading.Thread):
    
        def run(self):
            headers = { 
                'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64; rv:52.0) Gecko/20100101 Firefox/52.0',
                'HOST': 'home.fang.com'
            }
            global all_urls
            while len(all_urls) > 0:
                # 在访问all_urls的时候，需要使用锁机制
                g_lock.acquire()
                # 通过pop方法移除最后一个元素，并且返回该值
                page_url = all_urls.pop()
                # 使用完成之后及时把锁给释放，方便其他线程使用
                g_lock.release()
                try:
                    print("分析"+page_url)
                    response = requests.get(page_url, headers=headers, timeout=3)
                    # 提取详情页地址的正则表达式，需要重新编写
                    all_pic_link = re.findall(
                        '<a href="(.*?)" title=".*?" target="_blank">', response.text)
                    global all_img_urls
                    # 这里还有一个锁
                    g_lock.acquire()
                    # 这个地方注意数组的拼接，没有用 append 直接用的+=也算是 python 的一个新语法
                    all_img_urls += all_pic_link
                    print(all_img_urls)
                    # 释放锁
                    g_lock.release()
                    time.sleep(0.5)
                except:
                    pass
    
    
    if __name__ == "__main__":
        headers = { 
            'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64; rv:52.0) Gecko/20100101 Firefox/52.0',
            'HOST': 'home.fang.com'
        }
        target_url = 'https://home.fang.com/album/s24/%d/'  # 图片集和列表规则
    
        spider = Spider(target_url, headers)
        # 先测试 10 页数据
        spider.getUrls(1, 10)
        # print(all_urls)
        for x in range(2):
            t = Producer()
            t.start()

接下来就是补充消费者逻辑了，这部分代码重点也是修改了正则表达式部分。

import requests
    import threading  # 多线程模块
    import re  # 正则表达式模块
    import time  # 时间模块
    import os  # 目录操作模块
    
    # 图片列表页面的数组
    all_img_urls = []
    # 初始化一个锁
    g_lock = threading.Lock()
    
    # 我们拼接好的图片集和列表路径
    all_urls = []
    
    # 图片地址列表
    pic_links = []
    
    
    class Spider():
        # 构造函数，初始化数据使用
        def __init__(self, target_url, headers):
            self.target_url = target_url
            self.headers = headers
    
        # 获取所有的想要抓取的 URL
        def getUrls(self, start_page, page_num):
    
            global all_urls
            # 循环得到URL
            for i in range(start_page, page_num+1):
                url = self.target_url % i
                all_urls.append(url)
    
    
    # 生产者，负责从每个页面提取图片列表链接
    class Producer(threading.Thread):
    
        def run(self):
            headers = { 
                'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64; rv:52.0) Gecko/20100101 Firefox/52.0',
                'HOST': 'home.fang.com'
            }
            global all_urls
            while len(all_urls) > 0:
                # 在访问all_urls的时候，需要使用锁机制
                g_lock.acquire()
                # 通过pop方法移除最后一个元素，并且返回该值
                page_url = all_urls.pop()
                # 使用完成之后及时把锁给释放，方便其他线程使用
                g_lock.release()
                try:
                    print("分析"+page_url)
                    response = requests.get(page_url, headers=headers, timeout=3)
                    # 提取详情页地址的正则表达式，需要重新编写
                    all_pic_link = re.findall(
                        '<a href="(.*?)" title=".*?" target="_blank">', response.text)
                    global all_img_urls
                    # 这里还有一个锁
                    g_lock.acquire()
                    # 这个地方注意数组的拼接，没有用 append 直接用的+=也算是 python 的一个新语法
                    # 这里还需要将图片地址拼接完整
                    all_img_urls += [
                        f"https://home.fang.com{ link}" for link in all_pic_link]
                    # print(all_img_urls)
                    # 释放锁
                    g_lock.release()
                    time.sleep(0.5)
                except:
                    pass
    
    # 消费者
    
    
    class Consumer(threading.Thread):
        def run(self):
            headers = { 
                'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64; rv:52.0) Gecko/20100101 Firefox/52.0',
                'HOST': 'home.fang.com'
            }
            global all_img_urls   # 调用全局的图片详情页面的数组
            print("%s is running " % threading.current_thread)
            # print(len(all_img_urls))
            while len(all_img_urls) > 0:
                g_lock.acquire()
                img_url = all_img_urls.pop()
                g_lock.release()
                try:
                    response = requests.get(img_url, headers=headers)
                    # 设置案例编码
                    response.encoding = 'utf-8'
                    title = re.search('<title>(.*?)-房天下家居装修网</title>', response.text).group(1)
                    all_pic_src = re.findall('<img src[2]?="(.*?)" οnerrοr=".*?"/>', response.text)
    
                    pic_dict = { title: all_pic_src}   # python字典
                    global pic_links
                    g_lock.acquire()
                    pic_links.append(pic_dict)    # 字典数组
                    print(title+" 获取成功")
                    g_lock.release()
    
                except Exception as e:
                    print(e)
                time.sleep(0.5)
    
    
    if __name__ == "__main__":
        headers = { 
            'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64; rv:52.0) Gecko/20100101 Firefox/52.0',
            'HOST': 'home.fang.com'
        }
        # 图片集和列表规则
        target_url = 'https://home.fang.com/album/s24/%d/'
    
        spider = Spider(target_url, headers)
        # 先测试 5 页数据
        spider.getUrls(1, 5)
        # print(all_urls)
        threads = []
        # 开启两个线程去访问
        for x in range(2):
            t = Producer()
            t.start()
            threads.append(t)
    
        for tt in threads:
            tt.join()
    
        print("进行到我这里了")
    
        # 开启10个线程去获取链接
        for x in range(10):
            ta = Consumer()
            ta.start()

除了正则表达式修改以外，在 main 中代码涉及了多线程的执行顺序问题，可重点学习一下。

接下来补齐图片下载部分逻辑，案例 2 复盘完成，核心代码未进行任何变更，篇幅原因，完整代码提交到 [https://codechina.csdn.net/hihell/scrapy][https_codechina.csdn.net_hihell_scrapy]，clone 案例 2 即可，最终得到大量**装修美图**。

![《爬虫100例专栏》复盘更新，再捋一遍这100篇文章，更新1,2,3,4 篇（收藏再看）][100_100_1_2_3_4 1]

> 好吧，我道歉，这个案例作为起手项目，有点难了。

### 案例三：美空网数据抓取 ###

时隔三年，美空网竟然已经不能通过 PC 浏览模特数据了。是时候升级这个案例了，我们将其替换为站酷网 zcool，只做爬取展示，数据保存到 mongo 中，不再进行编写。

本案例核心是为了抓取用户关系链，起始选择任意一个用户进行爬取都可。

https://douge2013.zcool.com.cn/follow?condition=0&p=1  
![《爬虫100例专栏》复盘更新，再捋一遍这100篇文章，更新1,2,3,4 篇（收藏再看）][100_100_1_2_3_4 2]  
安装 mongodb 服务的时候出现了一点小问题，即 mangodb 服务无法启动。

解决方案如下：

在 MongoDB 安装目录中找到 bin 文件夹，同级目录创建 data 文件夹，在 data 中创建 `db` 与 `logs` 文件夹，然后在控制台输入如下命令。

mongod --dbpath="C:\Program Files\MongoDB\Server\3.6\data\db"  --logpath="C:\Program Files\MongoDB\Server\3.6\data\logs\MongoDB.log" --install --serviceName "MongoDB"

后面启动 mongo 留给你自己完成，`mongo --port 27017`。

第一步链接生产者的代码修改如下：

# -*- coding: UTF-8 -*-
    import requests  # 网络请求模块
    import random  # 随机模块
    import re  # 正则表达式模块
    import time  # 时间模块
    import threading  # 线程模块
    import pymongo as pm   #mongodb模块
    
    class Config():
        def getHeaders(self):
            user_agent_list = [
                "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/22.0.1207.1 Safari/537.1",
                "其它 UserAgent "
            ]
            UserAgent = random.choice(user_agent_list)
            headers = { 'User-Agent': UserAgent}
            return headers
    
    
    # 起始种子地址
    urls = ["https://douge2013.zcool.com.cn/follow?condition=0&p=1"]
    index = 0  # 索引
    g_lock = threading.Lock()  # 初始化一个锁
    
    
     # 获取连接
    client = pm.MongoClient('127.0.0.1', 27017)  # 端口号是数值型
    
    # 连接目标数据库
    db = client.zcool
    
    # 数据库用户验证
    db.authenticate("zcool", "zcool")
    
    # 生产者
    class Producer(threading.Thread):
    
        def run(self):
            print("线程启动...")
            headers = Config().getHeaders()
            print(headers)
            global urls
            global index
            while True:
                g_lock.acquire()
                if len(urls) == 0:
                    g_lock.release()
                    continue
                page_url = urls.pop()
                g_lock.release()  # 使用完成之后及时把锁给释放，方便其他线程使用
                response = ""
                try:
                    response = requests.get(page_url, headers=headers, timeout=5)
    
                except Exception as http:
                    print("生产者异常")
                    print(http)
                    continue
                content = response.text
    
                rc = re.compile(
                    r'<a href="(.*?)" title=".*?" class="avatar" target="_blank" z-st="member_content_card_1_user_face">')
                follows = rc.findall(content)
                # print(follows)
                fo_url = []
                threading_links_2 = []
                for u in follows:
                    # 生成关注列表地址
                    this_url = "%s/follow?condition=0&p=1" % u
                    g_lock.acquire()
                    index += 1
                    g_lock.release()
                    fo_url.append({ "index": index, "link": this_url})
                    threading_links_2.append(this_url)
    
                g_lock.acquire()
                urls += threading_links_2
                g_lock.release()
                print(fo_url)
                try:
                    db.text.insert_many(fo_url,ordered=False )
                except:
                    continue
    
    if __name__ == "__main__":
        p = Producer()
        p.start()

最终经过我的一番修改，爬虫 100 例案例三重获新生，再次可用。重点修改的依旧是正则表达式解析逻辑。

修改后的代码下载地址：[https://codechina.csdn.net/hihell/scrapy][https_codechina.csdn.net_hihell_scrapy] 案例 3。

![《爬虫100例专栏》复盘更新，再捋一遍这100篇文章，更新1,2,3,4 篇（收藏再看）][100_100_1_2_3_4 3]

### 案例四：基于案例三抓取到的用户地址，进行图片抓取 ###

通过案例三，获取了大量的用户地址。图片抓取就不在进行案例更新了，使用案例三与案例四的思路，直接进行修改即可。

恰巧更新的站酷网也有图片，正好可以练手。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hpaGVsbA_size_16_color_FFFFFF_t_70 1]

## 今日复盘结论 ##

在复盘过程中，要记住爬虫的思路是不会发生变化的。实践过程也看到，只需要进行目标网站地址变更，正则表达式变更，就可以编写一个全新的爬虫。

> 良心博主，竟然 3 年不掉线。

## 收藏时间 ##

做个不可能实现的任务吧，收藏过400，橡皮擦将回复评论区所有人，发一个神秘码

> 今天是持续写作的第 185 / 200 天。  
> 可以关注我，点赞我、评论我、收藏我啦。

**更多精彩**

*  [Python 爬虫 100 例教程导航帖（抓紧订阅啦）][Python _ 100]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hpaGVsbA_size_16_color_FFFFFF_t_70]: /images/20221004/cdc244ac67a9473d9d9f5e99b5295188.png
[Python _ 100]: https://blog.csdn.net/hihell/category_9280209.html
[100_100_1_2_3_4]: /images/20221004/66539faff10b44db82dd2ec9d429c973.png
[https_codechina.csdn.net_hihell_scrapy]: https://codechina.csdn.net/hihell/scrapy
[100_100_1_2_3_4 1]: /images/20221004/228694fd5d9648a1835244e9f1d1f745.png
[100_100_1_2_3_4 2]: /images/20221004/932a7e93b5eb465e9dfe906225cbcc14.png
[100_100_1_2_3_4 3]: /images/20221004/77ae2db40bed4f7680ea983b0f68990b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hpaGVsbA_size_16_color_FFFFFF_t_70 1]: /images/20221004/74d2d6dc4d2b494ca647dde7a00a354e.png