Python爬虫新手入门教学（十四）：爬取有声小说网站数据

桃扇骨 2022-10-27 13:46 516阅读 0赞

# 前言 #

本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理。

**Python爬虫、数据分析、网站开发等案例教程视频免费在线观看**

https://space.bilibili.com/523606542

# ![a2b6984089fbb14c9cf0ff607a09682a.png][] #

# 前文内容 #

[Python爬虫新手入门教学（一）：爬取豆瓣电影排行信息][Python]

[Python爬虫新手入门教学（二）：爬取小说][Python 1]

[Python爬虫新手入门教学（三）：爬取链家二手房数据][Python 2]

[Python爬虫新手入门教学（四）：爬取前程无忧招聘信息][Python 3]

[Python爬虫新手入门教学（五）：爬取B站视频弹幕][Python_B]

[Python爬虫新手入门教学（六）：制作词云图][Python 4]

[Python爬虫新手入门教学（七）：爬取腾讯视频弹幕][Python 5]

[Python爬虫新手入门教学（八）：爬取论坛文章保存成PDF][Python_PDF]

[Python爬虫新手入门教学（九）：多线程爬虫案例讲解][Python 6]

[Python爬虫新手入门教学（十）：爬取彼岸4K超清壁纸][Python_4K]

[Python爬虫新手入门教学（十一）：最近王者荣耀皮肤爬取][Python 7]

[Python爬虫新手入门教学（十二）：英雄联盟最新皮肤爬取][Python 8]

[Python爬虫新手入门教学（十三）：爬取高质量超清壁纸][Python 9]

# 基本开发环境 #

*  Python 3.6
 *  Pycharm

# 相关模块的使用 #

import requests
    import os

安装Python并添加到环境变量，pip安装需要的相关模块即可。

# 一、明确目标 #

爬取免费的播放量最多的有声书，如果你想要爬取付费的也是可以，那你得先开一个会员，  
爬虫是看得到才能爬。

![0d917f00022e46dedc93dd9adb2b3898.png][]

# 二、网页数据分析 #

点击任意一个音频章节点击播放。在开发者工具中选择 **Media** 会加载出一个数据

![df73919bc56fb1ce5684f95caf45a2bb.png][]

复制这个链接会自动下载一个可播放的音频文件。

![70fae4ecbadf434f443c07ea73dff619.png][]

![af3b09c2b1f21f2d65d16c74fc4feae8.png][]

听内容是和网站上面的有声小说是一样的。所以这个就是音频数据的真实url地址。  
接下来就要分析找到这个数据来源。

![a703ade3a67e24905f1c04e38cfba5c9.png][]

在开发者工具中搜索 **wKgJJ1eKo-3xGS0KAFIc8J\_87NE024** 框选的内容就是音频本身，所有查看第一个地址。

![3f9f00d87fa14816c6c416223b95b059.png][]

https://www.ximalaya.com/revision/play/v1/audio?id=18556416&ptype=1

这个数据里面包含了音频地址。

其实这个 **id=18556416** 就是每个音频的ID值了。同样的在开发者工具中进行搜索。

![296352efa4b88a712371b983323ea1a8.png][]

有声书名字，音频ID，章节名字都有了。但是当我查看第二页数据的时候发现，并不是这个链接，而是另外一个链接。

https://www.ximalaya.com/revision/album/v1/getTracksList?albumId=4756811&pageNum=2

![b2fa656568e9e4c34ca533a469ef2766.png][]

还是有一些区别的，所以我们应该请求的是第二个链接

**整体思路分析**

1、通过 'https://www.ximalaya.com/revision/album/v1/getTracksList?albumId=4756811&pageNum=2'
    url地址获取每章音频的ID以及章节名字
    2、通过 'https://www.ximalaya.com/revision/play/v1/audio?id=18556416&ptype=1' url地址获取
    每章音频的下载地址
    3、请求音频地址，进行本地保存

# 三、代码实现 #

**1、获取获取每章音频的ID以及章节名字**

def get_audio_info(html_url):
        json_data = get_response(html_url).json()
        audio_info = json_data['data']['tracks']
        for index in audio_info:
            # 音频ID
            audio_id = index['trackId']
            # 章节名字
            audio_title = index['title']
            # 有声书小说名字 《摸金天师》第001章 百辟刀
            audio_name = audio_title.split('第')[0]

**2、获取音频url**

def get_audio_url(audio_id):
        page_url = f'https://www.ximalaya.com/revision/play/v1/audio?id={audio_id}&ptype=1'
        json_data = get_response(page_url).json()
        audio_url = json_data['data']['src']
        return audio_url

**3、保存音频**

def save(name, title, audio_url):
        path = f'{name}\\'
        if not os.path.exists(path):
            os.makedirs(path)
        audio_content = get_response(audio_url).content
        with open(path + title + '.m4a', mode='wb') as f:
            f.write(audio_content)
            print('正在保存：', title)

# 完整实现代码 #

import requests
    import os
    
    
    def get_response(html_url):
        header = {
            'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36'
        }
        response = requests.get(url=html_url, headers=header)
        return response
    
    
    def save(name, title, audio_url):
        path = f'{name}\\'
        if not os.path.exists(path):
            os.makedirs(path)
        audio_content = get_response(audio_url).content
        with open(path + title + '.m4a', mode='wb') as f:
            f.write(audio_content)
            print('正在保存：', title)
    
    
    def get_audio_url(audio_id):
        page_url = f'https://www.ximalaya.com/revision/play/v1/audio?id={audio_id}&ptype=1'
        json_data = get_response(page_url).json()
        audio_url = json_data['data']['src']
        return audio_url
    
    
    def get_audio_info(html_url):
        json_data = get_response(html_url).json()
        audio_info = json_data['data']['tracks']
        for index in audio_info:
            # 音频ID
            audio_id = index['trackId']
            # 章节名字
            audio_title = index['title']
            # 有声书小说名字 《摸金天师》第001章 百辟刀
            audio_name = audio_title.split('第')[0]
            audio_url = get_audio_url(audio_id)
            save(audio_name, audio_title, audio_url)
    
    
    if __name__ == '__main__':
        for page in range(1, 39):
            url = f'https://www.ximalaya.com/revision/album/v1/getTracksList?albumId=4756811&pageNum={page}'
            get_audio_info(url)

![70802cfbf583ece03854fa9af145b2c0.png][]

![60d27b5dcd85e45afa407bc27efdf8f2.png][]

![26dd3ec7d5983306ec74d1aa6863eebd.png][]

[a2b6984089fbb14c9cf0ff607a09682a.png]: /images/20221024/506e25e370e94e4fad97efab15f02501.png
[Python]: https://blog.csdn.net/m0_48405781/article/details/113055904
[Python 1]: https://blog.csdn.net/m0_48405781/article/details/113118597
[Python 2]: https://blog.csdn.net/m0_48405781/article/details/113140580
[Python 3]: https://blog.csdn.net/m0_48405781/article/details/113179478
[Python_B]: https://blog.csdn.net/m0_48405781/article/details/113183911?spm=1001.2014.3001.5501
[Python 4]: https://blog.csdn.net/m0_48405781/article/details/113247830
[Python 5]: https://blog.csdn.net/m0_48405781/article/details/113250671
[Python_PDF]: https://blog.csdn.net/m0_48405781/article/details/113336829
[Python 6]: https://blog.csdn.net/m0_48405781/article/details/113356881
[Python_4K]: https://blog.csdn.net/m0_48405781/article/details/113404843
[Python 7]: https://blog.csdn.net/m0_48405781/article/details/113436547
[Python 8]: https://blog.csdn.net/m0_48405781/article/details/113610979
[Python 9]: https://blog.csdn.net/m0_48405781/article/details/113619996
[0d917f00022e46dedc93dd9adb2b3898.png]: /images/20221024/fe6960d281ad4589820353be87cf03f3.png
[df73919bc56fb1ce5684f95caf45a2bb.png]: /images/20221024/d92af636c89f41e9b05b2be1207f2e4c.png
[70fae4ecbadf434f443c07ea73dff619.png]: /images/20221024/9c70c23027d24834854777c9a3e7916d.png
[af3b09c2b1f21f2d65d16c74fc4feae8.png]: /images/20221024/45c19f756adc48429746c0b0d1fff7a4.png
[a703ade3a67e24905f1c04e38cfba5c9.png]: /images/20221024/4fdde56f9e9041a8bd4081848c37b876.png
[3f9f00d87fa14816c6c416223b95b059.png]: /images/20221024/a0360c7ea0a241c28b39741da00e328d.png
[296352efa4b88a712371b983323ea1a8.png]: /images/20221024/f684aa0b281545c2970ad8344b5cb294.png
[b2fa656568e9e4c34ca533a469ef2766.png]: /images/20221024/4cc7f7563ca244d79c260809406533b3.png
[70802cfbf583ece03854fa9af145b2c0.png]: /images/20221024/eb9ccf7244cc4027aff60a6693087a12.png
[60d27b5dcd85e45afa407bc27efdf8f2.png]: /images/20221024/a43ae186c73a4c4e9f7e84da38e60340.png
[26dd3ec7d5983306ec74d1aa6863eebd.png]: /images/20221024/a28efd2078f945309e73f22abeef60d8.png