爬虫---爬取b站小视频

Love The Way You Lie 2023-08-17 17:26 99阅读 0赞

前面通过python爬虫爬取过图片，文字，今天我们一起爬取下b站的小视频，其实呢，测试过程中需要用到视频文件，找了几个网站下载，都需要会员什么的，直接写一篇爬虫爬取视频~~~

# 分析b站小视频 #

### 1、进入到抓取链接地址 ###

[http://vc.bilibili.com/p/eden/rank\#/?tab=%E5%85%A8%E9%83%A8][http_vc.bilibili.com_p_eden_rank_tab_E5_85_A8_E9_83_A8]

![1171635-20190830142810752-1690309745.png][]

###  2、分析抓取链接内容 ###

通过F12或者抓包工具进行查看我们需要爬取的视频在哪里存放，页面以ajax动态加载的

![1171635-20190830143038150-1953468887.png][]

### 3、分析请求内容和请求参数 ###

通过查看请求内容得到这些数据

1、请求的接口地址

2、请求方式为get

3、请求参数为

*  page\_size   显示的个数
 *  next\_offset  动态跳转页面
 *  tag　　搜索标题
 *  platfrom  （应该是pc端）

![1171635-20190830143225471-300849469.png][]

![1171635-20190830143246513-1257183977.png][]

分析了页面内容，那么动手来写代码，爬取视频下来

# 爬取b站小视频 #

开始写代码之前呢，我们也要一步一步的来，分清楚每一步都是干什么用的，这样的话才能让我们写的代码更加清除。

### 1、构建请求信息，请求需要爬取的地址 ###

# 构建请求信息，获取数据信息
    def get_json(url,ajax):
        # 构建请求信息
        params = {
            'page_size':10,
            'next_offset': ajax,
            'tag':'今日热门',
            'platform':'pc'
        }
        # 防止请求失败
        try:
            html = requests.get(url,params=params,headers=headers).json()
            return html
        except BaseException:
            print('页面加载失败')

### 2、进行访问链接，下载视频 ###

# 获取视频信息
    def get_video(viedeo_url,path):
        # 取出来视频的名称和地址
        r2 = requests.get(viedeo_url,headers=headers)
        with open(path,'wb')as f:
            f.write(r2.content)

### 3、保存下载的视频 ###

infos=html['data']['items']
            for info in infos:
                title = info['item']['description']#小视频的标题
                video_url = info['item']['video_playurl']#视频地址
                print(title,video_url)
                #为了防止视频没有video_url
                try:
                    get_video(video_url,path=r"E:\app\视频\%s.mp4"%title)
                    print("成功下载一个")
                except BaseException:
                    print("下载失败")
                    pass

# 完整代码 #

import requests
    import random
    import time
    headers = {
        "User-Agent":"Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.75 Safari/537.36"
    }
    def get_json(url,ajax):
        # 构建请求信息
        params = {
            'page_size':10,
            'next_offset': ajax,
            'tag':'今日热门',
            'platform':'pc'
        }
        # 防止请求失败
        try:
            html = requests.get(url,params=params,headers=headers).json()
            return html
        except BaseException:
            print('页面加载失败')
    def get_video(viedeo_url,path):
        # 取出来视频的名称和地址
        r2 = requests.get(viedeo_url,headers=headers)
        with open(path,'wb')as f:
            f.write(r2.content)
    if __name__ == '__main__':
        for i in range(3):
            url='http://api.vc.bilibili.com/board/v1/ranking/top?'
            num=i*10+1
            html=get_json(url,num)
            infos=html['data']['items']
            for info in infos:
                title = info['item']['description']#小视频的标题
                video_url = info['item']['video_playurl']#视频地址
                print(title,video_url)
                #为了防止视频没有video_url
                try:
                    get_video(video_url,path=r"E:\app\视频\%s.mp4"%title)
                    print("成功下载一个")
                except BaseException:
                    print("下载失败")
                    pass
            # 设置加载时间
            time.sleep(random.random() * 3)

![1171635-20190830162303071-30077272.png][]

**写的时间有点紧急，大概的写了下过程，如果不懂的地方可以下方留言，看到后第一时间会进行回复，感觉写的对您有帮助，点个关注~~~~**

转载于:https://www.cnblogs.com/qican/p/11435162.html

[http_vc.bilibili.com_p_eden_rank_tab_E5_85_A8_E9_83_A8]: http://vc.bilibili.com/p/eden/rank#/?tab=%E5%85%A8%E9%83%A8
[1171635-20190830142810752-1690309745.png]: /images/20230808/5facfe9562f9416ebd48057678474211.png
[1171635-20190830143038150-1953468887.png]: /images/20230808/b6a0d19125d34d6287091061588eb8d6.png
[1171635-20190830143225471-300849469.png]: /images/20230808/fa9d68c01ab44b9289d801ccf3700c03.png
[1171635-20190830143246513-1257183977.png]: /images/20230808/bddfadf626e845449f404ab536e1b9fd.png
[1171635-20190830162303071-30077272.png]: /images/20230808/7064c35045664423b10ac4eba9fad589.png