Python爬虫新手入门教学（二）：爬取小说

布满荆棘的人生 2023-01-11 01:15 188阅读 0赞

# **前言** #

本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理。

**Python爬虫、数据分析、网站开发等案例教程视频免费在线观看**

https://space.bilibili.com/523606542

# ![a2b6984089fbb14c9cf0ff607a09682a.png][] #

# 前文 #

[Python爬虫新手入门教学（一）：爬取豆瓣电影排行信息][Python]

# **基本开发环境** #

*  Python 3.6
 *  Pycharm

# **相关模块的使用** #

*  requests
 *  parsel

安装Python并添加到环境变量，pip安装需要的相关模块即可。

![Python爬虫新手入门教学（一）：爬取小说][Python 1]

# **单章爬取** #

![Python爬虫新手入门教学（一）：爬取小说][Python 2]

# **一、明确需求** #

**爬取小说内容保存到本地**

*  小说名字
 *  小说章节名字
 *  小说内容

# 第一章小说url地址
    url = 'http://www.biquges.com/52_52642/25585323.html'

url = 'http://www.biquges.com/52_52642/25585323.html'
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36'
    }
    response = requests.get(url=url, headers=headers)
    print(response.text)

![Python爬虫新手入门教学（一）：爬取小说][Python 3]

请求网页返回的数据中出现了乱码，这就需要我们转码了。

加一行代码自动转码。

response.encoding = response.apparent_encoding

![Python爬虫新手入门教学（一）：爬取小说][Python 4]

# **三、解析数据** #

![Python爬虫新手入门教学（一）：爬取小说][Python 5]

根据css选择器可以直接提取小说标题以及小说内容。

def get_one_novel(html_url):
        # 调用请求网页数据函数
        response = get_response(html_url)
        # 转行成selector解析对象
        selector = parsel.Selector(response.text)
        # 获取小说标题
        title = selector.css('.bookname h1::text').get()
        # 获取小说内容 返回的是list
        content_list = selector.css('#content::text').getall()
        # ''.join(列表) 把列表转换成字符串
        content_str = ''.join(content_list)
        print(title, content_str)
    
    
    if __name__ == '__main__':
        url = 'http://www.biquges.com/52_52642/25585323.html'
        get_one_novel(url)

![Python爬虫新手入门教学（一）：爬取小说][Python 6]

# **四、保存数据（数据持久化）** #

使用常用的保存方式： **with open**

def save(title, content):
        """
        保存小说
        :param title: 小说章节标题
        :param content: 小说内容
        :return: 
        """
        # 路径
        filename = f'{title}\\'
        # os 内置模块，自动创建文件夹
        if os.makedirs(filename):
            os.mkdir()
        # 一定要记得加后缀 .txt  mode 保存方式 a 是追加保存  encoding 保存编码
        with open(filename + title + '.txt', mode='a', encoding='utf-8') as f:
            # 写入标题
            f.write(title)
            # 换行
            f.write('\n')
            # 写入小说内容
            f.write(content)

![Python爬虫新手入门教学（一）：爬取小说][Python 7]

![Python爬虫新手入门教学（一）：爬取小说][Python 8]

保存一章小说，就这样写完了，如果想要保存整本小说呢？

# **整本小说爬虫** #

既然爬取单章小说知道怎么爬取了，那么只需要获取小说所有单章小说的url地址，就可以爬取全部小说内容了。

![Python爬虫新手入门教学（一）：爬取小说][Python 9]

所有的单章的url地址都在 dd 标签当中，但是这个url地址是不完整的，所以爬取下来的时候，要拼接url地址。

def get_all_url(html_url):
        # 调用请求网页数据函数
        response = get_response(html_url)
        # 转行成selector解析对象
        selector = parsel.Selector(response.text)
        # 所有的url地址都在 a 标签里面的 href 属性中 
        dds = selector.css('#list dd a::attr(href)').getall()
        for dd in dds:
            novel_url = 'http://www.biquges.com' + dd
            print(novel_url)
    
    
    if __name__ == '__main__':
        url = 'http://www.biquges.com/52_52642/index.html'
        get_all_url(url)

![Python爬虫新手入门教学（一）：爬取小说][Python 10]

这样就获取了所有的小说章节url地址了。

# **爬取全本完整代码** #

import requests
    import parsel
    from tqdm import tqdm
    
    
    def get_response(html_url):
        headers = {
            'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36'
        }
        response = requests.get(url=html_url, headers=headers)
        response.encoding = response.apparent_encoding
        return response
    
    
    def save(novel_name, title, content):
        """
        保存小说
        :param title: 小说章节标题
        :param content: 小说内容
        :return:
        """
        filename = f'{novel_name}' + '.txt'
        # 一定要记得加后缀 .txt  mode 保存方式 a 是追加保存  encoding 保存编码
        with open(filename, mode='a', encoding='utf-8') as f:
            # 写入标题
            f.write(title)
            # 换行
            f.write('\n')
            # 写入小说内容
            f.write(content)
    
    
    def get_one_novel(name, novel_url):
        # 调用请求网页数据函数
        response = get_response(novel_url)
        # 转行成selector解析对象
        selector = parsel.Selector(response.text)
        # 获取小说标题
        title = selector.css('.bookname h1::text').get()
        # 获取小说内容 返回的是list
        content_list = selector.css('#content::text').getall()
        # ''.join(列表) 把列表转换成字符串
        content_str = ''.join(content_list)
        save(name, title, content_str)
    
    
    def get_all_url(html_url):
        # 调用请求网页数据函数
        response = get_response(html_url)
        # 转行成selector解析对象
        selector = parsel.Selector(response.text)
        # 所有的url地址都在 a 标签里面的 href 属性中
        dds = selector.css('#list dd a::attr(href)').getall()
        # 小说名字
        novel_name = selector.css('#info h1::text').get()
        for dd in tqdm(dds):
            novel_url = 'http://www.biquges.com' + dd
            get_one_novel(novel_name, novel_url)
    
    
    if __name__ == '__main__':
        novel_id = input('输入书名ID：')
        url = f'http://www.biquges.com/{novel_id}/index.html'
        get_all_url(url)

![Python爬虫新手入门教学（一）：爬取小说][Python 11]

![Python爬虫新手入门教学（一）：爬取小说][Python 12]

[a2b6984089fbb14c9cf0ff607a09682a.png]: /images/20221119/9257f0a4b8fd4e10aab5219c14c1d7b3.png
[Python]: https://blog.csdn.net/m0_48405781/article/details/113055904
[Python 1]: /images/20221119/1e9b83fd4c16463e965e803892850257.png
[Python 2]: /images/20221119/276ffcf25a754d308b1f8fc722a8ca9e.png
[Python 3]: /images/20221119/269849b53fbe4a75aa07cd275420c842.png
[Python 4]: /images/20221119/57ea05415cd648f589c295798e454ec0.png
[Python 5]: /images/20221119/57b1d3412bb74f32b12c9f815afcd57a.png
[Python 6]: /images/20221119/5b7784a87e7341289430303b11fdb6f4.png
[Python 7]: https://img-blog.csdnimg.cn/img_convert/db9414121084ad4c4e98a5c933d57ef0.png
[Python 8]: https://img-blog.csdnimg.cn/img_convert/0ef55ead7daec8e18e8f3c5d38e2142d.png
[Python 9]: https://img-blog.csdnimg.cn/img_convert/b6481cbaf325126a6dfdd10c8fdb2cd7.png
[Python 10]: https://img-blog.csdnimg.cn/img_convert/6e05bbb1c474e3ff4252c53d0b99593f.png
[Python 11]: https://img-blog.csdnimg.cn/img_convert/e5c47c0eca3f85dd3712ed7c27a41075.png
[Python 12]: https://img-blog.csdnimg.cn/img_convert/cbaa63b1e75cbf4730115bd4c3a2cb78.png