Python爬虫新手入门教学（十五）：爬取网站音乐素材

谁借莪１个温暖的怀抱￠ 2022-10-28 13:28 292阅读 0赞

# 前言 #

本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理。

**Python爬虫、数据分析、网站开发等案例教程视频免费在线观看**

https://space.bilibili.com/523606542

# ![a2b6984089fbb14c9cf0ff607a09682a.png][] #

# 前文内容 #

[Python爬虫新手入门教学（一）：爬取豆瓣电影排行信息][Python]

[Python爬虫新手入门教学（二）：爬取小说][Python 1]

[Python爬虫新手入门教学（三）：爬取链家二手房数据][Python 2]

[Python爬虫新手入门教学（四）：爬取前程无忧招聘信息][Python 3]

[Python爬虫新手入门教学（五）：爬取B站视频弹幕][Python_B]

[Python爬虫新手入门教学（六）：制作词云图][Python 4]

[Python爬虫新手入门教学（七）：爬取腾讯视频弹幕][Python 5]

[Python爬虫新手入门教学（八）：爬取论坛文章保存成PDF][Python_PDF]

[Python爬虫新手入门教学（九）：多线程爬虫案例讲解][Python 6]

[Python爬虫新手入门教学（十）：爬取彼岸4K超清壁纸][Python_4K]

[Python爬虫新手入门教学（十一）：最近王者荣耀皮肤爬取][Python 7]

[Python爬虫新手入门教学（十二）：英雄联盟最新皮肤爬取][Python 8]

[Python爬虫新手入门教学（十三）：爬取高质量超清壁纸][Python 9]

[Python爬虫新手入门教学（十四）：爬取有声小说网站数据][Python 10]

# 基本开发环境 #

*  Python 3.6
 *  Pycharm

# 相关模块的使用 #

import os
    import concurrent.futures
    import requests
    import parsel

安装Python并添加到环境变量，pip安装需要的相关模块即可。

# 一、确定需求 #

![找不到合适的音频素材？Python批量爬取音频素材网站][Python 11]

虽然上面显示需要付费下载，但是一样可以免费下载。

# 二、网页数据分析 #

打开开发者工具，点击播放音频，在Media中会加载出音频的url地址。

![找不到合适的音频素材？Python批量爬取音频素材网站][Python 12]

如果想要验证这个链接是否是音频的真实下载地址，可以复制链接粘贴到新的窗口中。

![找不到合适的音频素材？Python批量爬取音频素材网站][Python 13]

它会自动下载一个音频文件。并且这个音频文件是可以播放的，和网页上面的音频声音是可以对上的。  
事实证明这个就是我们要获取音频地址。

![找不到合适的音频素材？Python批量爬取音频素材网站][Python 14]

https://downsc.chinaz.net/Files/DownLoad/sound1/202102/s830.mp3

老思路了，复制链接中的某些参数在开发者工具中进行搜索，很明显 **s830** 就是音频的ID了。

![找不到合适的音频素材？Python批量爬取音频素材网站][Python 15]

搜索 s830 找到来源，发现网页页面中自带有下载地址。获取音频下载地址之后需要自己拼接url。

网页数据不复杂，相对而言还是比较简单的。  
1、请求当前网页数据，获取音频地址以及音频标题  
2、保存下载就可以了

# 三、代码实现 #

**获取音频ID以及音频标题**

def main(html_url):
        html_data = get_response(html_url).text
        selector = parsel.Selector(html_data)
        lis = selector.css('#AudioList .container .audio-item')
        for li in lis:
            name = li.css('.name::text').get().strip()
            src = li.css('audio::attr(src)').get()
            audio_url = 'https:' + src
            save(name, audio_url)
            print(name, audio_url)

**保存数据**

def save(name, audio_url):
        header = {
            'Upgrade-Insecure-Requests': '1',
            'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36'
        }
        audio_content = requests.get(url=audio_url, headers=header).content
        path = 'audio\\'
        if not os.path.exists(path):
            os.mkdir(path)
        with open(path + name + '.mp3', mode='wb') as f:
            f.write(audio_content)

这里想要重新给一个headers参数，不然会下载不了。代码会一直运行，但是没有反应

**多线程爬取**

if __name__ == '__main__':
        executor = concurrent.futures.ThreadPoolExecutor(max_workers=5)
        for page in range(1, 31):
            url = f'https://sc.chinaz.com/yinxiao/index_{page}.html'
            # main(url)
            executor.submit(main, url)

![找不到合适的音频素材？Python批量爬取音频素材网站][Python 16]

![找不到合适的音频素材？Python批量爬取音频素材网站][Python 17]

[a2b6984089fbb14c9cf0ff607a09682a.png]: /images/20221024/55b006b3822d44069938f58e1508a34a.png
[Python]: https://blog.csdn.net/m0_48405781/article/details/113055904
[Python 1]: https://blog.csdn.net/m0_48405781/article/details/113118597
[Python 2]: https://blog.csdn.net/m0_48405781/article/details/113140580
[Python 3]: https://blog.csdn.net/m0_48405781/article/details/113179478
[Python_B]: https://blog.csdn.net/m0_48405781/article/details/113183911?spm=1001.2014.3001.5501
[Python 4]: https://blog.csdn.net/m0_48405781/article/details/113247830
[Python 5]: https://blog.csdn.net/m0_48405781/article/details/113250671
[Python_PDF]: https://blog.csdn.net/m0_48405781/article/details/113336829
[Python 6]: https://blog.csdn.net/m0_48405781/article/details/113356881
[Python_4K]: https://blog.csdn.net/m0_48405781/article/details/113404843
[Python 7]: https://blog.csdn.net/m0_48405781/article/details/113436547
[Python 8]: https://blog.csdn.net/m0_48405781/article/details/113610979
[Python 9]: https://blog.csdn.net/m0_48405781/article/details/113619996
[Python 10]: https://blog.csdn.net/m0_48405781/article/details/113645449
[Python 11]: /images/20221024/77a3c971d3a84da9b4c93a509ac74769.png
[Python 12]: /images/20221024/6107b4ae768a4a1a8f3489247dfcfa22.png
[Python 13]: /images/20221024/6a3921c9a670477594035762c48d15d2.png
[Python 14]: /images/20221024/e0849216b4304b1cb16a4e4faf37ee68.png
[Python 15]: /images/20221024/a3d15392caab4ebc9bff69e09eab988b.png
[Python 16]: /images/20221024/81ad33864e0a4a7c8ad47e4117f87d84.png
[Python 17]: /images/20221024/96f465f2ee59473f8daeb3b2474cdfac.png