懒人畅听网，有声小说类目数据采集，多线程速采案例，Python爬虫120例之23例

雨点打透心脏的1/2处 2022-09-08 05:00 98阅读 0赞

多线程在 Python 爬虫学习过程中应用落地，提速，提速，再提速。

## 目标站点分析 ##

本次要抓取的目标为懒人畅听网，其中我随机选择了一个分类，有声小说频道，其余频道可使用雷同的办法抓取，增加遍历之后，可以对全站进行抓取。  
![懒人畅听网，有声小说类目数据采集，多线程速采案例，Python爬虫120例之23例][Python_120_23]  
**列表页分页规则如下**  
本次依旧只对列表页数据进行提取，只增加多线程模块 `threading` 的应用，提高采集效率。

http://www.lrts.me/book/category/1/recommend/1/20
    http://www.lrts.me/book/category/1/recommend/2/20

提取规则模板如下：

http://www.lrts.me/book/category/1/recommend/页码/20

全站页码数，可以直接人眼读取，如果增加动态获取，提取读取一下分页处数据即可。

提取最终的数据源如下图所示，包括书名，作者，主播三部分内容。

![懒人畅听网，有声小说类目数据采集，多线程速采案例，Python爬虫120例之23例][Python_120_23 1]

## 编码时间 ##

本次案例中对于多线程部分，除共享全局变量外，增加信号量机制，即限制线程并发数量。

信号量机制的简单 Demo 如下所示：

import threading
    import time
    
    
    def run(n, semaphore):
        # 加锁
        semaphore.acquire()
        time.sleep(2)
        print(f'正在运行线程{ n}')
        # 释放锁
        semaphore.release()
    
    
    if __name__ == '__main__':
        num = 0
        # 最多允许 3 个线程同时运行
        semaphore = threading.BoundedSemaphore(3)
        for i in range(10):
            t = threading.Thread(target=run, args=(f'线程号：{ i}', semaphore))
            t.start()
        while threading.active_count() != 1:
            pass
        else:
            print('所有线程运行完毕')

运行代码，会发现先运行 3 个线程，再运行 3 个线程，当然同时运行的线程之间是没有先后顺序的。

![懒人畅听网，有声小说类目数据采集，多线程速采案例，Python爬虫120例之23例][Python_120_23 2]  
信号量，即使用 `threading` 模块的 `BoundedSemaphore` 类，该类可以设置允许一定数量的线程更改数据，即最多可同时运行几个线程。

**代码完整案例如下所示**

import threading
    from threading import Lock,Thread
    import random,requests
    from lxml import etree
    
    def get_headers():
        uas = [
            "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)",
        ]
        ua = random.choice(uas)
        headers = { 
            "user-agent": ua,
            "referer": "https://www.baidu.com/"
        }
        return headers
    
    
    def run(url,semaphore):
        headers = get_headers()
        semaphore.acquire()   #加锁
        res = requests.get(url,headers=headers,timeout=5)
        if res:
            text = res.text
            element = etree.HTML(text)
            titles = element.xpath('//a[@class="book-item-name"]/text()')
            authors = element.xpath('//a[@class="author"]/text()')
            weakens = element.xpath('//a[@class="g-user-shutdown"]/text()')
            save(url,titles,authors,weakens)
    
    
        semaphore.release()    #释放
    
    def save(url,titles,authors,weakens):
        data_list = zip(titles,authors,weakens)
        for item in data_list:
            with open("./data.csv","a+",encoding="utf-8") as f:
                f.write(f"{ item[0]},{ item[1]},{ item[2]}\n")
        print(url,"该URL地址数据写入完毕")
    if __name__== '__main__':
        lock = Lock()
        url_format = 'https://www.lrts.me/book/category/1/recommend/{}/20'
        # 拼接URL，全局共享变量
        urls = [url_format.format(i) for i in range(1, 1372)]
        l = []
        semaphore = threading.BoundedSemaphore(5)   # 最多允许5个线程同时运行
        for url in urls:
            t = threading.Thread(target=run,args=(url,semaphore))
            t.start()
        while threading.active_count() !=1:
            pass
        else:
            print('所有线程运行完毕')

代码中 `threading.active_count()` 部分，用于检测是否存在活跃线程，如无，程序结束。

运行代码，得到如下结果，至此第 23 例已经学习完毕。

![懒人畅听网，有声小说类目数据采集，多线程速采案例，Python爬虫120例之23例][Python_120_23 3]

## 收藏时间 ##

代码仓库地址：[https://codechina.csdn.net/hihell/python120][https_codechina.csdn.net_hihell_python120]，去给个关注或者 Star 吧。

[数据直接购买渠道][Link 1]

来都来了，不发个评论，点个赞，收个藏吗？

> 今天是持续写作的第 203 / 365 天。  
> 可以关注我，点赞我、评论我、收藏我啦。

**更多精彩**

*  [Python 爬虫 100 例教程导航帖（已完结）][Python _ 100]  
    ![在这里插入图片描述][41e9d1eb585f4e0aad5cc6765e8ff54a.png]

--------------------

[Python_120_23]: /images/20220829/686e790a657949af95d0a48fd4a76b3a.png
[Python_120_23 1]: /images/20220829/626d43fc829a4bcc86a2e893f38af3d6.png
[Python_120_23 2]: /images/20220829/caf0195aa1614e61ab39e31ed4dd5486.png
[Python_120_23 3]: /images/20220829/0eda9cfec36644f1ba45d52be9dd849d.png
[https_codechina.csdn.net_hihell_python120]: https://codechina.csdn.net/hihell/python120
[Link 1]: https://download.csdn.net/download/hihell/21593682
[Python _ 100]: https://dream.blog.csdn.net/article/details/86106916
[41e9d1eb585f4e0aad5cc6765e8ff54a.png]: /images/20220829/0bf807c7fc3147fc89cd89decd25f8f8.png