python自动下载小说

Myth丶恋晨 2023-06-27 08:58 13阅读 0赞

大家好呀，空虚且漫长的三天小长假终于过去了，，哈哈哈哈，又是一个愉快的周一  
![在这里插入图片描述][20200106095612416.png]  
刚到公司还没坐下，我旁边的IOS同学就悄悄告诉我项目出了BUG，并给我投来了一个神秘的微笑。。。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zOTgxNTAwMQ_size_16_color_FFFFFF_t_70]  
在我吃完早餐，喝完开水，上完厕所之后，手终于没那么抖了，慢慢的打开电脑，才发现只是一个小问题。哈哈哈哈，花费一分钟解决。哎哟，可把我牛逼坏了  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zOTgxNTAwMQ_size_16_color_FFFFFF_t_70 1]  
旁边的IOS同学凑过来，用他那不太飘准的普通发给我说：“兄die，上次那个爬图片的很好用啊，不过我这几天看图片看太多了，灵感倒是有很多，就是身体有点吃不消。最近迷上了看小说，可是正版的冲不起钱，盗版的广告又太多，你给我解决解决？”  
我：“作为一个优雅的社畜，怎么能看盗版呢？朕瞧不起你这无耻之徒。发过来，朕先举报（保存）一手”  
![在这里插入图片描述][20200106103626987.png]  
半小时后，IOS同学：“兄die，怎么样了，解决了吗”  
我心想：卧槽，看入迷了，还没开始写，怎么办。  
表面稳如老狗，答曰：“emmmmm,这个比较有技术难度，稍等一下，就快好了”  
![在这里插入图片描述][20200106104026983.png]  
当然，小说要看，问题还是要解决。怎么才能只看自己想看的内容，去掉自己不想看的内容呢？心念电转，还是用爬虫吧，内容都拿下来，只保存自己想看的不就行了。说干就干。。。  
书名《全职法师》，url在代码里  
页面大概长这样：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zOTgxNTAwMQ_size_16_color_FFFFFF_t_70 2]  
**爬虫三连：获取网页，解析网页，保存目标**  
随手写个第一版，将内容保存在文件里面，以title做文件名：

import queue
    import requests
    from lxml import etree as et
    import re
    import random
    import time
    import os
    
    # 请求头
    headers = { 
        # 用户代理
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36'
    }
    
    USER_AGENT_LIST = [
        'MSIE (MSIE 6.0; X11; Linux; i686) Opera 7.23',
        'Opera/9.20 (Macintosh; Intel Mac OS X; U; en)',
        'Opera/9.0 (Macintosh; PPC Mac OS X; U; en)',
        'iTunes/9.0.3 (Macintosh; U; Intel Mac OS X 10_6_2; en-ca)',
        'Mozilla/4.76 [en_jp] (X11; U; SunOS 5.8 sun4u)',
        'iTunes/4.2 (Macintosh; U; PPC Mac OS X 10.2)',
        'Mozilla/5.0 (Macintosh; Intel Mac OS X 10.6; rv:5.0) Gecko/20100101 Firefox/5.0',
        'Mozilla/5.0 (Macintosh; Intel Mac OS X 10.6; rv:9.0) Gecko/20100101 Firefox/9.0',
        'Mozilla/5.0 (Macintosh; Intel Mac OS X 10.8; rv:16.0) Gecko/20120813 Firefox/16.0',
        'Mozilla/4.77 [en] (X11; I; IRIX;64 6.5 IP30)',
        'Mozilla/4.8 [en] (X11; U; SunOS; 5.7 sun4u)'
    ]
    
    # 保存小说文件
    def save_file(dir,filename,content):
        # 如果目录不存在，则新建
        if not os.path.exists(dir):
            os.makedirs(dir)
        save_dir = dir+'/'+filename+'.txt'
        #注意：win系统默认新文件编码格式gbk,这里需指定utf-8编码
        with open(save_dir, 'w',encoding='utf-8') as f:
            f.write(content)
        print('ok')
    
    def get_chapter_url(list_url, base_url, queue):
        # 获取页面信息
        response = requests.get(url=list_url, headers=headers)
        # 获取请求状态码
        code = response.status_code
        if code == 200:
            html = et.HTML(response.content)
            # 获取该小说章节list
            chapter_url = html.xpath('//*[@id="list"]/dl/dd/a/@href')[9:40]
            k = 1
            for i in chapter_url:
                #组装小说章节url
                page_url = base_url + i
                #将小说章节url+章节编号入队
                queue_element = page_url, str(k)
                queue.put(queue_element)
                k = k + 1
    
    def get_detail_html(queue):
        while not queue.empty():
            #休息一下，太快会503.等待时长可根据实际情况调节，你可以在503的边缘疯狂试探
            time_num = 5
            time.sleep(time_num)
            # Queue队列的get方法用于从队列中提取元素
            queue_element = queue.get()
            queue.task_done()
            # 获取章节url
            page_url = queue_element[0]
            # 获取章节编号
            chapter_num = queue_element[1]
            headers = { 
                # 从代理列表随机获取代理
                'User-Agent': random.choice(USER_AGENT_LIST)
            }
            response = requests.get(url=page_url, headers=headers)
            response.encoding = "utf-8"
            # 请求状态码
            code = response.status_code
            if code == 200:
                html = et.HTML(response.content)
                # 获取该章小说title
                title = html.xpath('//h1/text()')[0]
                # 获取该章小说内容
                r = html.xpath('//*[@id="content"]/text()')
                content = ''
                for i in r:
                    # 正则匹配，去除干扰字符，只保留汉字和数字
                    #\u标识unicode编码，u不能大写；之后跟一个十六进制，表示相应字符对应的unicode值，十六进制中英文不区分大小写
                    #data = re.sub(u"([^\u4E00-\u9fa5\u0030-\u0039\u0041-\u005a\u0061-\u007a])","",i)
                    content = content + i
                # 去除两端空格
                title = title.strip()
                content = content.strip()
                #保存文件
                save_file(save_dir, title, content)
            else:
                print(code)
            print(title)
    
    # 主函数
    if __name__ == "__main__":
        # 小说章节基地址
        base_url = 'https://www.biqugecom.com'
        # 小说章节列表页地址
        list_url = 'https://www.biqugecom.com/0/15/'
        #文件保存目录,自由设置，开心就好a
        save_dir = os.path.abspath('../quanzhifashi/')
    
        # 用Queue构造一个先进先出队列
        urls_queue = queue.Queue()
        #获取章节url列表
        get_chapter_url(list_url,base_url,urls_queue)
        #获取章节内容，存入数据库
        get_detail_html(urls_queue)
    
        print('the end!')

略一运行：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zOTgxNTAwMQ_size_16_color_FFFFFF_t_70 3]  
保存下来的小说：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zOTgxNTAwMQ_size_16_color_FFFFFF_t_70 4]  
过了一会儿，IOS：“老哥，你这个txt让我很为难啊，用户体验不怎么的，优化一下？”  
沉思五秒后，我：“那我给你写成接口，你自己随便写一个APP，调我的接口怎么样？这样的话，界面你可以自己DIY，还能根据你的内裤颜色换小说背景色。”  
IOS：“这个好，这个好，虽然我不怎么穿内裤，嘿嘿”  
我：“。。。。。。。。。。。”  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zOTgxNTAwMQ_size_16_color_FFFFFF_t_70 5]  
niubi要吹，代码还是要写。数据库那么多，选什么牌子呢？数据库技术哪家强，mysql数据库帮你忙，好用开源是真香  
先安装一个mysql驱动吧：**pip3 install mysql-connector**  
建个表保存小说章节编号，title和正文内容：

# Host: localhost (Version: 5.7.26)
    # Date: 2020-01-06 11:28:42
    # Generator: MySQL-Front 5.3 (Build 4.234)
    
    /*!40101 SET NAMES utf8 */;
    
    #
    # Structure for table "novel"
    #
    
    DROP TABLE IF EXISTS `novel`;
    CREATE TABLE `novel` (
      `id` int(11) NOT NULL AUTO_INCREMENT,
      `chapter_num` int(11) DEFAULT NULL COMMENT '章节编号',
      `title` varchar(20) NOT NULL DEFAULT '0' COMMENT '章节标题',
      `content` varchar(15000) DEFAULT NULL COMMENT '章节内容',
      `created_at` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP,
      `updated_at` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP,
      PRIMARY KEY (`id`)
    ) ENGINE=InnoDB AUTO_INCREMENT=112 DEFAULT CHARSET=utf8;

然后写个方法存数据，抱着试一试的心态，点击运行，得如下结果：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zOTgxNTAwMQ_size_16_color_FFFFFF_t_70 6]  
打开mysql一看。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zOTgxNTAwMQ_size_16_color_FFFFFF_t_70 7]  
呵，我可真是天选之子  
![在这里插入图片描述][20200106120050662.png]  
完整代码：

import queue
    import requests
    from lxml import etree as et
    import re
    import random
    import time
    import os
    import mysql.connector
    
    # 请求头
    headers = { 
        # 用户代理
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36'
    }
    
    #用户代理列表
    USER_AGENT_LIST = [
        'MSIE (MSIE 6.0; X11; Linux; i686) Opera 7.23',
        'Opera/9.20 (Macintosh; Intel Mac OS X; U; en)',
        'Opera/9.0 (Macintosh; PPC Mac OS X; U; en)',
        'iTunes/9.0.3 (Macintosh; U; Intel Mac OS X 10_6_2; en-ca)',
        'Mozilla/4.76 [en_jp] (X11; U; SunOS 5.8 sun4u)',
        'iTunes/4.2 (Macintosh; U; PPC Mac OS X 10.2)',
        'Mozilla/5.0 (Macintosh; Intel Mac OS X 10.6; rv:5.0) Gecko/20100101 Firefox/5.0',
        'Mozilla/5.0 (Macintosh; Intel Mac OS X 10.6; rv:9.0) Gecko/20100101 Firefox/9.0',
        'Mozilla/5.0 (Macintosh; Intel Mac OS X 10.8; rv:16.0) Gecko/20120813 Firefox/16.0',
        'Mozilla/4.77 [en] (X11; I; IRIX;64 6.5 IP30)',
        'Mozilla/4.8 [en] (X11; U; SunOS; 5.7 sun4u)'
    ]
    
    # 保存小说文件
    def save_file(dir,filename,content):
        # 如果目录不存在，则新建
        if not os.path.exists(dir):
            os.makedirs(dir)
        save_dir = dir+'/'+filename+'.txt'
        #注意：win系统默认新文件编码格式gbk,这里需指定utf-8编码
        with open(save_dir, 'w',encoding='utf-8') as f:
            f.write(content)
        print('ok')
    
    # 插入数据库
    def insert_data(chapter_num, title, content):
        conn = mysql.connector.connect(user='root', password='root', database='test')
        cursor = conn.cursor()
        try:
            cursor.execute('insert into novel (chapter_num, title, content) values (%s, %s, %s)', [chapter_num, title, content])
            conn.commit()
        except Exception as e:
            print('Error:', e)
        finally:
            cursor.close()
            conn.close()
    
    def get_chapter_url(list_url, base_url, queue):
        # 获取页面信息
        response = requests.get(url=list_url, headers=headers)
        # 获取请求状态码
        code = response.status_code
        if code == 200:
            html = et.HTML(response.content)
            # 获取该小说章节list
            chapter_url = html.xpath('//*[@id="list"]/dl/dd/a/@href')[9:40]
            k = 1
            for i in chapter_url:
                #组装小说章节url
                page_url = base_url + i
                #将小说章节url+章节编号入队
                queue_element = page_url, str(k)
                queue.put(queue_element)
                k = k + 1
    
    #获取章节内容，存入数据库
    def get_detail_html(queue):
        while not queue.empty():
            #休息一下，太快会503.等待时长可根据实际情况调节，你可以在503的边缘疯狂试探
            time_num = 5
            time.sleep(time_num)
            # Queue队列的get方法用于从队列中提取元素
            queue_element = queue.get()
            queue.task_done()
            # 获取章节url
            page_url = queue_element[0]
            # 获取章节编号
            chapter_num = queue_element[1]
            headers = { 
                # 从代理列表随机获取代理
                'User-Agent': random.choice(USER_AGENT_LIST)
            }
            response = requests.get(url=page_url, headers=headers)
            response.encoding = "utf-8"
            # 请求状态码
            code = response.status_code
            if code == 200:
                html = et.HTML(response.content)
                # 获取该章小说title
                title = html.xpath('//h1/text()')[0]
                # 获取该章小说内容
                r = html.xpath('//*[@id="content"]/text()')
                content = ''
                for i in r:
                    content = content + i
                # 去除两端空格
                title = title.strip()
                content = content.strip()
                #插入数据库
                insert_data(chapter_num, title, content)
                #保存文件
                #save_file(save_dir, title, content)
            else:
                print(code)
            print(title)
    
    # 主函数
    if __name__ == "__main__":
        # 小说章节基地址
        base_url = 'https://www.biqugecom.com'
        # 小说章节列表页地址
        list_url = 'https://www.biqugecom.com/0/15/'
        #文件保存目录,自由设置，开心就好a
        save_dir = os.path.abspath('../quanzhifashi/')
    
        # 用Queue构造一个先进先出队列
        urls_queue = queue.Queue()
        #获取章节url列表
        get_chapter_url(list_url,base_url,urls_queue)
        #获取章节内容，存入数据库
        get_detail_html(urls_queue)
    
        print('the end!')

又过了一会儿，IOS同学：“兄die，你这个有点慢啊，下载一章还要休息几秒”  
我：“因为这个网站有限制，太快了会503，再说就算你一目十行也看不了那么快吧”  
IOS：“看小说倒是不影响，就是你这样的代码影响我吹牛逼”  
我：“emmmmm，那我搭建个IP池，然后给你改成多线程”  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zOTgxNTAwMQ_size_16_color_FFFFFF_t_70 8]  
当朕准备搭建IP池的时候，产品经理的头像突然闪了起来。  
只见消息列表里面躺着一个需求文档，并附文：  
![在这里插入图片描述][20200106121645197.png]  
emmmmmm，溜了溜了。

**The end !**

> **学到了就要教人，赚到了就要给人  
> 薪火相传，方能生生不息**

[20200106095612416.png]: https://img-blog.csdnimg.cn/20200106095612416.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zOTgxNTAwMQ_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20200106101435957.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zOTgxNTAwMQ==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zOTgxNTAwMQ_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/20200106102621429.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zOTgxNTAwMQ==,size_16,color_FFFFFF,t_70
[20200106103626987.png]: https://img-blog.csdnimg.cn/20200106103626987.png
[20200106104026983.png]: https://img-blog.csdnimg.cn/20200106104026983.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zOTgxNTAwMQ_size_16_color_FFFFFF_t_70 2]: https://img-blog.csdnimg.cn/20200106123444547.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zOTgxNTAwMQ==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zOTgxNTAwMQ_size_16_color_FFFFFF_t_70 3]: https://img-blog.csdnimg.cn/20200106110103139.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zOTgxNTAwMQ==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zOTgxNTAwMQ_size_16_color_FFFFFF_t_70 4]: https://img-blog.csdnimg.cn/20200106105941487.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zOTgxNTAwMQ==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zOTgxNTAwMQ_size_16_color_FFFFFF_t_70 5]: https://img-blog.csdnimg.cn/20200106110923955.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zOTgxNTAwMQ==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zOTgxNTAwMQ_size_16_color_FFFFFF_t_70 6]: https://img-blog.csdnimg.cn/20200106115703289.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zOTgxNTAwMQ==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zOTgxNTAwMQ_size_16_color_FFFFFF_t_70 7]: https://img-blog.csdnimg.cn/20200106115808125.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zOTgxNTAwMQ==,size_16,color_FFFFFF,t_70
[20200106120050662.png]: https://img-blog.csdnimg.cn/20200106120050662.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zOTgxNTAwMQ_size_16_color_FFFFFF_t_70 8]: https://img-blog.csdnimg.cn/20200106121410831.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zOTgxNTAwMQ==,size_16,color_FFFFFF,t_70
[20200106121645197.png]: https://img-blog.csdnimg.cn/20200106121645197.png