Python爬虫新手入门教学（十七）：爬取yy全站小视频

叁歲伎倆 2022-10-30 12:29 244阅读 0赞

# 前言 #

本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理。

**Python爬虫、数据分析、网站开发等案例教程视频免费在线观看**

https://space.bilibili.com/523606542

# ![a2b6984089fbb14c9cf0ff607a09682a.png][] #

# 前文内容 #

[Python爬虫新手入门教学（一）：爬取豆瓣电影排行信息][Python]

[Python爬虫新手入门教学（二）：爬取小说][Python 1]

[Python爬虫新手入门教学（三）：爬取链家二手房数据][Python 2]

[Python爬虫新手入门教学（四）：爬取前程无忧招聘信息][Python 3]

[Python爬虫新手入门教学（五）：爬取B站视频弹幕][Python_B]

[Python爬虫新手入门教学（六）：制作词云图][Python 4]

[Python爬虫新手入门教学（七）：爬取腾讯视频弹幕][Python 5]

[Python爬虫新手入门教学（八）：爬取论坛文章保存成PDF][Python_PDF]

[Python爬虫新手入门教学（九）：多线程爬虫案例讲解][Python 6]

[Python爬虫新手入门教学（十）：爬取彼岸4K超清壁纸][Python_4K]

[Python爬虫新手入门教学（十一）：最近王者荣耀皮肤爬取][Python 7]

[Python爬虫新手入门教学（十二）：英雄联盟最新皮肤爬取][Python 8]

[Python爬虫新手入门教学（十三）：爬取高质量超清壁纸][Python 9]

[Python爬虫新手入门教学（十四）：爬取有声小说网站数据][Python 10]

[Python爬虫新手入门教学（十五）：爬取网站音乐素材][Python 11]

[Python爬虫新手入门教学（十六）：爬取好看视频小视频][Python 12]

# 基本开发环境 #

*  Python 3.6
 *  Pycharm

# 相关模块的使用 #

import os
    import requests

安装Python并添加到环境变量，pip安装需要的相关模块即可。

# 一、确定目标需求 #

![56ae54874699f838852c8632b97ad66a.png][]

![26c8b3caea24a6166a1068f2a99dc5a1.png][]

百度搜索YY，点击分类选择小视频，里面的小姐姐自拍的短视频就是我们所需要的数据了。

![cb6adaa64012329030c6bfa858945c96.png][]

# **二、网页数据分析** #

网站是下滑网页之后加载数据，在上篇关于好看视频的爬取文章中已经有说明，YY视频也是换汤不换药。

![7357eddc313f434bac35ee75ebee908d.png][]

如图所示，所框选的url地址，就是短视频的播放地址了。

![b8245a02089db57d51fee317fc27d07f.png][]

数据包接口地址：

https://api-tinyvideo-web.yy.com/home/tinyvideosv2?callback=jQuery112409962628943012035_1613628479734&appId=svwebpc&sign=&data=%7B%22uid%22%3A0%2C%22page%22%3A1%2C%22pageSize%22%3A10%7D&_=1613628479736

**第二页的数据请求参数：**

![42ca69fffe02732cc361ce631685764c.png][]

**第三页的数据请求参数：**

![5eb9f0124d41dfae18080af3536ea802.png][]

很明显这是根据data参数中的page改变翻页的。

构建翻页循环，获取视频url地址以及发布人的名字，保存到本地。

# 三、代码实现 #

**1、请求数据接口**

import requests
    url = 'https://api-tinyvideo-web.yy.com/home/tinyvideosv2'
    params = {
        'callback': 'jQuery112409962628943012035_1613628479734',
        'appId': 'svwebpc',
        'sign': '',
        'data': '{"uid":0,"page":0,"pageSize":10}',
        '_': '1613628479737',
    }
    headers = {
        'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36'
    }
    response = requests.get(url=url, params=params, headers=headers)

**问题来了，返回的数据是json数据嘛？**

![6845ee84206a4aca11eb845fede99f64.png][]

如上图所示，很多人看到这样的数据肯定就觉得这不就是一个json数据嘛？

![99d990c4c57fc0be3acc0fd6500b809b.png][]

**JSONDecodeError：** json解码错误，它并不是有一个json数据，而是字符串。

![f523c5f6f9fefce5893b3328bb2ecc16.png][]

通过response查看就知道了，返回给我们的数据是多了一段 **jQuery112409962628943012035\_1613628479734()**  
其中的json数据是包含在里面的，如果想要提取数据有三种方法。

**1、返回response.text，使用正则表达式提取url地址以及发布人的名字**

video_url = re.findall('"resurl":"(.*?)"', response.text)
    user_name = re.findall('"username":"(.*?)"', response.text)

![b1629f48019f169dd16f5bba715db712.png][]

**2、返回response.text，使用正则表达式提取 jQuery112409962628943012035\_1613628479734() 中的数据，然后通过json模块把字符串转成json数据，然后遍历提取数据。**

string = re.findall('jQuery112409962628943012035_1613628479734\((.*?)\)', response.text)[0]
    json_data = json.loads(string)
    result = json_data['data']['data']
    pprint.pprint(result)

![220330563fc92f78df27ae725311a740.png][]

**3、把请求的url地址中的 callback 删掉，可以直接获取json数据**

import pprint
    import requests
    
    url = 'https://api-tinyvideo-web.yy.com/home/tinyvideosv2'
    params = {
        'appId': 'svwebpc',
        'sign': '',
        'data': '{"uid":0,"page":1,"pageSize":10}',
        '_': '1613628479737',
    }
    headers = {
        'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36'
    }
    response = requests.get(url=url, params=params, headers=headers)
    json_data = response.json()
    result = json_data['data']['data']
    pprint.pprint(result)

**2、保存数据**

for index in result:
            video_url = index['resurl']
            user_name = index['username']
            video_content = requests.get(url=video_url, headers=headers).content
            with open('video\\' + user_name + '.mp4', mode='wb') as f:
                f.write(video_content)
                print(user_name)

**注意点：** 用户名有特殊字符，保存的时候会报错

![7989f01780d38090e5b17db196498911.png][]

![3575dc4ef9622f78cca6bebcfff2e3d2.png][]

所以需要使用正则表达式替换掉特殊字符

def change_title(title):
        pattern = re.compile(r"[\/\\\:\*\?\"\<\>\|]")  # '/ \ : * ? " < > |'
        new_title = re.sub(pattern, "_", title)  # 替换为下划线
        return new_title

# **完整实现代码** #

import re
    
    import requests
    import re
    
    
    def change_title(title):
        pattern = re.compile(r"[\/\\\:\*\?\"\<\>\|]")  # '/ \ : * ? " < > |'
        new_title = re.sub(pattern, "_", title)  # 替换为下划线
        return new_title
    
    
    page = 0
    while True:
        page += 1
        url = 'https://api-tinyvideo-web.yy.com/home/tinyvideosv2'
        params = {
            'appId': 'svwebpc',
            'sign': '',
            'data': '{"uid":0,"page":%s,"pageSize":10}' % str(page),
            '_': '1613628479737',
        }
        headers = {
            'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36'
        }
        response = requests.get(url=url, params=params, headers=headers)
        json_data = response.json()
        result = json_data['data']['data']
        for index in result:
            video_url = index['resurl']
            user_name = index['username']
            new_title = change_title(user_name)
            video_content = requests.get(url=video_url, headers=headers).content
            with open('video\\' + new_title + '.mp4', mode='wb') as f:
                f.write(video_content)
                print(user_name)

![2ba7a60a0f03516c758a78db64129439.png][]

[a2b6984089fbb14c9cf0ff607a09682a.png]: /images/20221024/90bcaad50cb84608b518fb5b7bf4bcf6.png
[Python]: https://blog.csdn.net/m0_48405781/article/details/113055904
[Python 1]: https://blog.csdn.net/m0_48405781/article/details/113118597
[Python 2]: https://blog.csdn.net/m0_48405781/article/details/113140580
[Python 3]: https://blog.csdn.net/m0_48405781/article/details/113179478
[Python_B]: https://blog.csdn.net/m0_48405781/article/details/113183911?spm=1001.2014.3001.5501
[Python 4]: https://blog.csdn.net/m0_48405781/article/details/113247830
[Python 5]: https://blog.csdn.net/m0_48405781/article/details/113250671
[Python_PDF]: https://blog.csdn.net/m0_48405781/article/details/113336829
[Python 6]: https://blog.csdn.net/m0_48405781/article/details/113356881
[Python_4K]: https://blog.csdn.net/m0_48405781/article/details/113404843
[Python 7]: https://blog.csdn.net/m0_48405781/article/details/113436547
[Python 8]: https://blog.csdn.net/m0_48405781/article/details/113610979
[Python 9]: https://blog.csdn.net/m0_48405781/article/details/113619996
[Python 10]: https://blog.csdn.net/m0_48405781/article/details/113645449
[Python 11]: https://blog.csdn.net/m0_48405781/article/details/113725399
[Python 12]: https://blog.csdn.net/m0_48405781/article/details/113740761
[56ae54874699f838852c8632b97ad66a.png]: /images/20221024/2cc45bd80fbf4ad1832f6f3f0e0b301a.png
[26c8b3caea24a6166a1068f2a99dc5a1.png]: /images/20221024/9c5d247eb0b34d61ba50623b59292e0c.png
[cb6adaa64012329030c6bfa858945c96.png]: /images/20221024/62c3f6080908413d9a162eac78cac932.png
[7357eddc313f434bac35ee75ebee908d.png]: /images/20221024/601d7df3468043b39296f963cbe6bf0a.png
[b8245a02089db57d51fee317fc27d07f.png]: /images/20221024/b099f7019632452e807249577efd8589.png
[42ca69fffe02732cc361ce631685764c.png]: /images/20221024/dc7129fe46a84be4850df9ca64d6e5b1.png
[5eb9f0124d41dfae18080af3536ea802.png]: /images/20221024/954ca86783494b518e4747052d7185be.png
[6845ee84206a4aca11eb845fede99f64.png]: /images/20221024/4239be9b54794aa484177bbed9e48d36.png
[99d990c4c57fc0be3acc0fd6500b809b.png]: /images/20221024/03604bcd0be04a719f68ec2bcba107ae.png
[f523c5f6f9fefce5893b3328bb2ecc16.png]: /images/20221024/89a8642cd50e443c98ae8343d74fb207.png
[b1629f48019f169dd16f5bba715db712.png]: /images/20221024/6e4a1eba82b8418aa809e12e64349d81.png
[220330563fc92f78df27ae725311a740.png]: /images/20221024/900298cd63f2424e999665aee9700ead.png
[7989f01780d38090e5b17db196498911.png]: /images/20221024/7f8d81229bdc4b799f0816caf534a0ed.png
[3575dc4ef9622f78cca6bebcfff2e3d2.png]: /images/20221024/aab8aa4300fb4429889ad97c0b9adeed.png
[2ba7a60a0f03516c758a78db64129439.png]: /images/20221024/6ec7ccd8fc624eb1b6cd1175b7967686.png