『赠书活动｜第十七期』《Python网络爬虫：从入门到实战》

以你之姓@ 2024-04-22 19:02 87阅读 0赞

![在这里插入图片描述][9c60af8931e042d9b51e4b28570377fd.png_pic_center]

> [?wei\_shuo的个人主页][wei_shuo]
> 
> ?[wei\_shuo的学习社区][wei_shuo 1]
> 
> ?Hello World ！

--------------------

##  『赠书活动 ｜ 第十七期』 ##

> 本期书籍：《Python网络爬虫：从入门到实战》
> 
> --------------------
> 
> 赠书规则：评论区：点赞｜收藏｜留言 
> 
> --------------------
> 
> 评论区留言："人生苦短，我用Java" 
> 
> --------------------
> 
> 活动截止时间：8月21日 
> 
> --------------------
> 
> 赠书数量：2 
> 
> --------------------
> 
> Tip：中奖后博主私信通知 | 三天内不回复将视为 | 自动放弃

> 书籍介绍

> 本书介绍了Python3网络爬虫的常见技术。首先介绍了网页的基础知识，然后介绍了urllib、Requests请求库以及XPath、Beautiful Soup等解析库，接着介绍了selenium对动态网站的爬取和Scrapy爬虫框架，最后介绍了Linux基础，便于读者自主部署编写好的爬虫脚本

### 进程和线程 ###

> 进程可以理解为是正在运行的程序的实例。进程是拥有资源的独立单位，而线程不是独立的单位。由于每一次调度进程的开销比较大，为此才引入的线程。一个进程可以拥有多个线程，一个进程中可以同时存在多个线程，这些线程共享该进程的资源，线程的切换消耗是很小的。因此在操作系统中引入进程的目的是更好地使多道程序并发执行，提高资源利用率和系统吞吐量;而引入线程的目的则是减小程序在并发执行时所付出的时空开销，提高操作系统的并发性能

### 单线程改为多线程 ###

import requests
    from lxml import etree
    import time
    import os
    
    dirpath = '图片/'
    if not os.path.exists(dirpath):
        os.mkdir(dirpath)  # 创建文件夹
    
    header = {
        
        'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.162 Safari/537.36'
    }
    def get_photo():
        url = 'https://www.huya.com/g/4079/'  # 目标网站
        response = requests.get(url=url, headers=header)  # 发送请求
        data = etree.HTML(response.text)  # 转化为html格式
        return data
    
    def jiexi():
        data = get_photo()
        image_url = data.xpath('//a//img//@data-original')
        image_name = data.xpath('//a//img[@class="pic"]//@alt')
        for ur, name in zip(image_url, image_name):
            url = ur.replace('?imageview/4/0/w/338/h/190/blur/1', '')
            title = name + '.jpg'
            response = requests.get(url=url, headers=header)  # 在此发送新的请求
            with open(dirpath + title, 'wb') as f:
                f.write(response.content)
            print("下载成功" + name)
            time.sleep(2)
    
    if __name__ == '__main__':
            jiexi()

if __name__ == "__main__":
        threads = []
        start = time.time()
        # 创建四个进程
        for i in range(1, 5):
            thread = threading.Thread(target=jiexi(), args=(i,))
            threads.append(thread)
            thread.start()
        for thread in threads:
            thread.join()
        end = time.time()
        running_time = end - start
        print('总共消耗时间 : %.5f 秒' % running_time)
        print("全部完成!")  # 主程序

![在这里插入图片描述][45c9854c889648a9b568ecb08e13c709.jpeg_pic_center]

> 作者简介

![在这里插入图片描述][98feb6cc12814a8296c88cdbe264d1d4.png_pic_center]

> 内容结构及配套资源

![在这里插入图片描述][1f52e3e156b749f8816c2f2273ce4bcb.png_pic_center]

![在这里插入图片描述][0818c10e47b9453ebc9b2b5540bf2948.png_pic_center]

> 抽奖时间：2023.8.21  
> 公布方式：评论区公布，私信通知

--------------------

> ? 结语：创作不易，如果觉得博主的文章赏心悦目，还请——`点赞`?`收藏`⭐️`评论`?

--------------------

![在这里插入图片描述][7a45e47becbb48629fea6612c2461258.gif_pic_center]

[9c60af8931e042d9b51e4b28570377fd.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/22/fb5effd957374083a306ad5a0a621e92.png
[wei_shuo]: https://blog.csdn.net/weixin_62765017
[wei_shuo 1]: https://bbs.csdn.net/forums/wei_shuo_study
[45c9854c889648a9b568ecb08e13c709.jpeg_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/22/4480c5c8f5b546bca17374ba6d18ac58.jpeg
[98feb6cc12814a8296c88cdbe264d1d4.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/22/fe50e107bf774cc89e292916f025c792.png
[1f52e3e156b749f8816c2f2273ce4bcb.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/22/89c1b6cf6288413db10ed34247959a39.png
[0818c10e47b9453ebc9b2b5540bf2948.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/22/cdfd85f47674472ebc5882e18a25831e.png
[7a45e47becbb48629fea6612c2461258.gif_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/22/1fb0421c1a8e45bd996dda486f6199e4.gif