Python爬虫新手入门教学（二十）：爬取A站m3u8视频格式视频

冷不防 2022-10-23 08:05 346阅读 0赞

# 前言 #

本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理。

# 前文内容 #

[Python爬虫新手入门教学（一）：爬取豆瓣电影排行信息][Python]

[Python爬虫新手入门教学（二）：爬取小说][Python 1]

[Python爬虫新手入门教学（三）：爬取链家二手房数据][Python 2]

[Python爬虫新手入门教学（四）：爬取前程无忧招聘信息][Python 3]

[Python爬虫新手入门教学（五）：爬取B站视频弹幕][Python_B]

[Python爬虫新手入门教学（六）：制作词云图][Python 4]

[Python爬虫新手入门教学（七）：爬取腾讯视频弹幕][Python 5]

[Python爬虫新手入门教学（八）：爬取论坛文章保存成PDF][Python_PDF]

[Python爬虫新手入门教学（九）：多线程爬虫案例讲解][Python 6]

[Python爬虫新手入门教学（十）：爬取彼岸4K超清壁纸][Python_4K]

[Python爬虫新手入门教学（十一）：最近王者荣耀皮肤爬取][Python 7]

[Python爬虫新手入门教学（十二）：英雄联盟最新皮肤爬取][Python 8]

[Python爬虫新手入门教学（十三）：爬取高质量超清壁纸][Python 9]

[Python爬虫新手入门教学（十四）：爬取有声小说网站数据][Python 10]

[Python爬虫新手入门教学（十五）：爬取网站音乐素材][Python 11]

[Python爬虫新手入门教学（十六）：爬取好看视频小视频][Python 12]

[Python爬虫新手入门教学（十七）：爬取yy全站小视频][Python_yy]

[Python爬虫新手入门教学（十九）：爬取ip代理，构建代理池][Python_ip]

# [Python学习交流群：1039649593][Python_1039649593] #

# 基本开发环境 #

*  Python 3.6
 *  Pycharm

# 相关模块的使用 #

import requests
    import re
    from tqdm import tqdm
    import os

安装Python并添加到环境变量，pip安装需要的相关模块即可。

**Python爬虫、数据分析、网站开发等案例教程视频免费在线观看**

https://space.bilibili.com/523606542

# [Python学习交流群：1039649593][Python_1039649593] #

# 确定目标需求 #

既然选择爬取视频了，那肯定优先选择小姐姐的视频呀

![71b6b6906ce791846c86c0564b06dc25.png][]

懂得都懂~

# 网页数据分析，找寻数据来源 #

A站视频是m3u8格式，整个视频分为很多小段，一段对应一个ts文件。

![c657f5ced9150cbe7a4df908d68f2e40.png][]

所以只需要找到这个m3u8的数据来源就可以获取所有的ts文件。

![65bfd3968dd8c251e0fa8c281d83403a.png][]

url链接的请求参数 pkey 是会改变的。但是这个参数是可以在网页源代码中找到的。包括m3u8的请求链接也是在网页源代码中可以获取的。

![d1ffc8a09466ef1e58b7a989af31cdff.png][]

# 整体思路 #

1、请求视频地址，获取源代码中的m3u8的url地址。

2、请求m3u8的地址，获取所有的ts文件地址

3、保存ts文件并且合并ts文件成mp4视频格式

# 实现代码 #

import requests
    import re
    from tqdm import tqdm
    import os
    
    
    def change_title(title):
        pattern = re.compile(r"[\/\\\:\*\?\"\<\>\|]")  # '/ \ : * ? " < > |'
        new_title = re.sub(pattern, "_", title)  # 替换为下划线
        return new_title
    
    
    def get_response(html_url):
        headers = {
            'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36'
        }
        response = requests.get(url=html_url, headers=headers)
        return response
    
    
    def save(name, video, title):
        path = f'{name}\\'
        if not os.path.exists(path):
            os.makedirs(path)
        with open(path + title + '.ts', mode='wb') as f:
            f.write(video)
    
    
    def get_m3u8_url(html_url):
        html_data = get_response(html_url).text
        m3u8_url = re.findall('backupUrl(.*?)\"]', html_data)[0].replace('"', '').split('\\')[-2]
        title = re.findall('"title":"(.*?)"', html_data)[0]
        new_title = change_title(title)
        m3u8_data = get_response(m3u8_url).text
    
        m3u8_data = re.sub('#EXTM3U', "", m3u8_data)
        m3u8_data = re.sub(r'#EXT-X-VERSION:\d', "", m3u8_data)
        m3u8_data = re.sub(r'#EXT-X-TARGETDURATION:\d', "", m3u8_data)
        m3u8_data = re.sub(r'#EXT-X-MEDIA-SEQUENCE:\d', "", m3u8_data)
        m3u8_data = re.sub(r'#EXT-X-ENDLIST', "", m3u8_data)
        m3u8_data = re.sub(r'#EXTINF:\d\.\d,', "", m3u8_data)
        m3u8 = m3u8_data.split()
    
        for link in tqdm(m3u8):
            ts_url = 'https://tx-safety-video.acfun.cn/mediacloud/acfun/acfun_video/hls/' + link
            video = get_response(ts_url).content
            ts_title = link.split('?')[0].split('.')[1]
            save(new_title, video, ts_title)
        print(f'{title}已经下载完成,请验收....')
    
    
    if __name__ == '__main__':
        video_id = input('请输入你要下载的视频ID：')
        url = f'https://www.acfun.cn/v/{video_id}'
        print('正在下载请稍后.....')
        get_m3u8_url(url)

![03ee8f5a63dd56da1ccb29d03b2c1bc5.png][]

最简单的合并方式有手就行

![f30efa26103c6f2bc4b28a1ead36bd43.png][]

![9fa5ad19b0c9d02ca2cffce0cf50b11f.png][]

[Python]: https://blog.csdn.net/m0_48405781/article/details/113055904
[Python 1]: https://blog.csdn.net/m0_48405781/article/details/113118597
[Python 2]: https://blog.csdn.net/m0_48405781/article/details/113140580
[Python 3]: https://blog.csdn.net/m0_48405781/article/details/113179478
[Python_B]: https://blog.csdn.net/m0_48405781/article/details/113183911?spm=1001.2014.3001.5501
[Python 4]: https://blog.csdn.net/m0_48405781/article/details/113247830
[Python 5]: https://blog.csdn.net/m0_48405781/article/details/113250671
[Python_PDF]: https://blog.csdn.net/m0_48405781/article/details/113336829
[Python 6]: https://blog.csdn.net/m0_48405781/article/details/113356881
[Python_4K]: https://blog.csdn.net/m0_48405781/article/details/113404843
[Python 7]: https://blog.csdn.net/m0_48405781/article/details/113436547
[Python 8]: https://blog.csdn.net/m0_48405781/article/details/113610979
[Python 9]: https://blog.csdn.net/m0_48405781/article/details/113619996
[Python 10]: https://blog.csdn.net/m0_48405781/article/details/113645449
[Python 11]: https://blog.csdn.net/m0_48405781/article/details/113725399
[Python 12]: https://blog.csdn.net/m0_48405781/article/details/113740761
[Python_yy]: https://blog.csdn.net/m0_48405781/article/details/113867436
[Python_ip]: https://blog.csdn.net/m0_48405781/article/details/113940901
[Python_1039649593]: https://jq.qq.com/?_wv=1027&k=SBLaYU2c
[71b6b6906ce791846c86c0564b06dc25.png]: /images/20221023/b0dbebf217ac401c8b5369be3de6d355.png
[c657f5ced9150cbe7a4df908d68f2e40.png]: /images/20221023/cfd74ae26352493fb7e6f59c678ad3e8.png
[65bfd3968dd8c251e0fa8c281d83403a.png]: /images/20221023/bc8bb9a0370c4ad5bc0591a70501f15f.png
[d1ffc8a09466ef1e58b7a989af31cdff.png]: /images/20221023/db415a9c317d47fcbd1fc9dbc3650594.png
[03ee8f5a63dd56da1ccb29d03b2c1bc5.png]: /images/20221023/592a27fd7ef84234926386ecaa060a38.png
[f30efa26103c6f2bc4b28a1ead36bd43.png]: /images/20221023/189783b0d35147a88e4e5de3d41e60ae.png
[9fa5ad19b0c9d02ca2cffce0cf50b11f.png]: /images/20221023/e52fdef37a3c4068ae65748a2989b4f0.png