python3 [爬虫入门实战]爬取熊猫直播用户信息

比眉伴天荒 2021-06-11 15:10 577阅读 0赞

### 爬取国内各大直播平台直播信息是以后要做的一个功课，还必须是做成一个系列的，可能远没有其他大神那么厉害，毕竟自己经历过的就是有用的，在此做个记录一下 ###

> 首先我们需要爬取的内容：

![这里写图片描述][SouthEast]

> 这里我们要爬取的有`直播房间名称，直播主播，直播等级，直播第一截屏（这个是动态的图片，要想获取最新的，必须重新进行爬取），直播人数，直播标签，直播类型（分类），暂且就提取了这些，这些内容都可以进行提取。`

--------------------

### 本来一开始是用scrapy框架进行提取的，也可以进行提取，后来发现有点大才了，直接找到返回的json 串就可以了 。 ###

> 第一次使用Httpfox 感觉真吊，挺爽的，也不用一个一个的标签下面进行解析去了。

## 步骤1： ##

> 打开[https://www.panda.tv/all][https_www.panda.tv_all] 进入熊猫直播的全部目录，然后打开httpfox，清空一下，点击下一页或者2，然后查看httpfox里面的内容，这时候我们会发现  
> ![这里写图片描述][SouthEast 1]

**一开始很纠结这个时间戳是怎么来的，看了查看源代码里面的js代码中的function，可能只是单纯的一个new Date()然后再拼接一下其他的取舍问题出来的吧**

下面我们把这个json串给格式化一下，然后复制到notepad++上，

![这里写图片描述][SouthEast 2]

## SO，里面你想要什么样的字段都可以，难道不是吗？哈哈 ##

下面上一份代码：

只是打印出来一下数据，可能看着有些简陋

--------------------

# encoding=utf8
    import requests
    import json
    
    
    
    url = "https://www.panda.tv/live_lists?status=2&order=person_num&token=&pageno=%d&pagenum=120&_=%d".format(a=range(0,35),b=range(1501946526480,1501946526880))
    
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64; rv:54.0) Gecko/20100101 Firefox/54.0'
        ,
        'Cookie': '__guid=96554777.3243119502220345300.1500627276199.6702; smid=608e0bde-ffe2-4251-90ca-2938cabdc074; monitor_count=18'
        ,
    }
    
    
    def getHtml(url):
        print('##'*30)
        req = requests.get(url, headers=headers)
        print(req.text)
        return req.text
    
    
    data = getHtml(url)
    
    def printInfos(data):
        jsondata = json.loads(data, "utf-8")
        print(jsondata)
        itemsinfo = jsondata['data']['items']
        for pinfo in itemsinfo:
            name = pinfo['name']
            person_num = pinfo['person_num']
            nickName = pinfo['userinfo']['nickName']
            lelvel = pinfo['host_level_info']
            lable = pinfo['label']
            print(lable)
            cname = pinfo['classification']
            print(cname)
            print(name)
            print(person_num)
            print(nickName)
            print(lelvel)
    
    def mainStart():
    
        for n in range(0, 50):
            pageindex = 1 + n
            pagetime = int(1501946526480 + n)
            url = "https://www.panda.tv/live_lists?status=2&order=person_num&token=&pageno=%d&pagenum=120&_=%d"%(pageindex,pagetime)
            data = getHtml(url)
            printInfos(data)
    
    
    mainStart()

有点小麻烦的是：

> url = “=%d”>https://www.panda.tv/live\_lists?status=2&order=person\_num&token=&pageno=%d&pagenum=120&=%d“%(pageindex,pagetime)

这里面的pageindex，跟pagetime，我用fortmat跟range（）混合使用，一直报错，上面有个注释掉的url就是之前试过的，有知道的小伙伴可以在下面留言，谢谢啦。

控制台上打印的结果：

![这里写图片描述][SouthEast 3]

整体就是这些，现在是学会把项目学习提交到github上，嘿嘿，我的放上我的github账号吧。

**[https://github.com/643435675/PyStudy/tree/master/Job][https_github.com_643435675_PyStudy_tree_master_Job]**

下期再见直播爬虫！

[SouthEast]: /images/20210529/589ea1b0db78488baccd70c812ff6669.png
[https_www.panda.tv_all]: https://www.panda.tv/all
[SouthEast 1]: /images/20210529/fe1b98a666f34f909480666e87040480.png
[SouthEast 2]: /images/20210529/91b7feed23c547d3be12c9b731b8dafc.png
[SouthEast 3]: /images/20210529/6152863ab6734f7793a256d276092b79.png
[https_github.com_643435675_PyStudy_tree_master_Job]: https://github.com/643435675/PyStudy/tree/master/Job