Python3爬虫抓取网易云音乐热评实战

以你之姓@ 2022-06-08 03:05 269阅读 0赞

前一段时间刚刚入门python爬虫，有大概半个月时间没有写python了，都快遗忘了。于是准备写个简单的爬虫练练手，我觉得网易云音乐最优特色的就是其精准的歌曲推荐和独具特色的用户评论，于是写了这个抓取网易云音乐热歌榜里的热评的爬虫。我也是刚刚入门爬虫，有什么意见和问题欢迎提出，大家一起共同进步。  
废话就不多说了～

--------------------

我们的目标是爬取网易云中的热歌排行榜中所有歌曲的热门评论。  
这样既可以减少我们需要爬取的工作量，又可以保存到高质量的评论。

首先，我们打开网易云网页版，如图：  
![这里写图片描述][SouthEast]

点击排行榜，然后点击左侧云音乐热歌榜，如图：

![这里写图片描述][SouthEast 1]

我们先随便打开一个歌曲，找到如何抓取指定的歌曲的热门歌评的方法，如图，我选了一个最近我比较喜欢的歌曲为例：

![这里写图片描述][SouthEast 2]

进去后我们会看到歌评就在这个页面的下面，接下来我们就要想办法获取这些评论。

接下来打开web控制台(chrome的话打开开发者工具，如果是其他浏览器应该也是类似)，chrome下按F12，如图：

![这里写图片描述][SouthEast 3]

选则Network，然后我们按F5刷新一下，刷新之后得到的数据如下图所示：

![这里写图片描述][SouthEast 4]

可以看到浏览器发送了非常多的信息，那么哪一个才是我们想要的呢？这里我们可以通过状态码做一个初步的判断，status code（状态码）标志了服务器请求的状态，这里状态码为200即表示请求正常，而304则表示不正常（状态码种类非常多，如果要想详细了解可以自行搜索，这里不说304具体的含义了）。所以我们一般只用看状态码为200的请求就可以了，还有就是，我们可以通过右边栏的预览来粗略观察服务器返回了什么信息（或者查看响应）。通过这两种方法结合一般我们就可以快速找到我们想要分析的请求。通过反复的查找，终于找到了含有歌评的请求，如图：

![这里写图片描述][SouthEast 5]

可能截图在CSDN上不是很清楚，我们在一个Name为`R_SO_4_489998494?csrf_token=`的POST请求中找到了包含这首歌的歌评。我们把这个分块截图发出来，这样可以看的清楚一些：

请求基本信息：  
![这里写图片描述][SouthEast 6]

请求头部：  
![这里写图片描述][SouthEast 7]  
请求中的表单数据：  
![这里写图片描述][SouthEast 8]

我们可以看到，包含这首歌歌评的请求url为`http://music.163.com/weapi/v1/resource/comments/R_SO_4_489998494?csrf_token=` ，我们换了几首歌后发现，这个请求的前部分都是一样的，只是`R_SO_4_`后面紧跟的一串数字不一样。我们可以推测出，每一首歌都有一个指定的id，R\_SO\_4\_后面紧跟的就是这首歌的id。

我们再看一下提交的表单数据，我们会发现表单中需要填两个数据，名称为params和encSecKey。后面紧跟的是一大串字符，换几首歌会发现，每首歌的params和encSecKey都是不一样的，因此，这两个数据可能经过一个特定的算法进行加密过的。

服务器返回的和评论相关的数据为json格式的，里面含有非常丰富的信息（比如有关评论者的信息，评论日期，点赞数，评论内容等等），其中hotComments就是我们要找的热门评论，总共15条，如图所示：

![这里写图片描述][SouthEast 9]

至此，我们已经确定了方向了，即只需要确定params和encSecKey这两个参数值即可。但是这两个参数是经过特定的算法进行加密的，怎么办呢？我发现了一个规律，`http://music.163.com/weapi/v1/resource/comments/R_SO_4_489998494?csrf_token=` 中 R\_SO\_4\_后面的数字就是这首歌的id值，而对于不同的歌曲的param和encSecKey值，如果把一首歌比如A的这两个参数值传给B这首歌，那么对于相同的页数，这种参数是通用的，即A的第一页的两个参数值传给其他任何一首歌的两个参数，都可以获得相应歌曲的第一页的评论，对于第二页，第三页等也是类似。  
而我们其实只需要获取第一页的15条热门评论，所以我们只需要随便找一首歌，将这首歌第一页中的该请求中的params和encSecKey这两个参数值复制下来，就可以使用了。  
关于这两个参数如何解密，强大的知乎上其实已经有答案的了，感兴趣的朋友可以进去看一下（[https://www.zhihu.com/question/36081767），我们在这里就只需要用我们这种偷懒的办法就可以完成需求了，xixi。][https_www.zhihu.com_question_36081767_xixi]

到此为止，我们如何抓取网易云音乐的热门评论已经分析完了，我们再分析一下如何获取云音乐热歌榜中所有歌曲的信息。

我们需要获取云音乐热歌榜中的所有歌曲的歌曲名和对应的id值。  
跟上面的分析步骤类似，我们先进入热歌榜的网址，如图：

![这里写图片描述][SouthEast 10]

按F12，进入WEB工作台，如图：

![这里写图片描述][SouthEast 11]

我们在一个名为`toplist?id=3778678`的GET请求中，找到了该榜单的所有歌曲信息。

请求对应的信息如图：

![这里写图片描述][SouthEast 12]

我们预览一下该请求返回的结果，如图：

![这里写图片描述][SouthEast 13]

我们在代码的第524行我们找到了包含歌曲信息的代码，如图：

![这里写图片描述][SouthEast 14]

因此，我们只需要将该请求的代码中，将包含信息的代码筛选出来。  
我们在这里使用正则表达式进行数据筛选。  
通过观察特点，我们可以通过两次正则表达式的筛选，将我们需要的歌曲信息提取出来。  
第一次正则表达式我们将该请求返回的所有代码中，提取出第525行代码。  
第一次正则表达式如下：`<ul class="f-hide"><li><a href="/song\?id=\d*?">.*</a></li></ul>`

第二次正则表达式我们将该第524行中我们需要的歌曲信息提取出来，我们需要歌曲的歌名和id，对应的正则表达式如下：  
获取歌名：`<li><a href="/song\?id=\d*?">(.*?)</a></li>`  
获取歌曲的id：`<li><a href="/song\?id=(\d*?)">.*?</a></li>`

到此，我们整个过程已经分析完了，上代码看具体细节～～  
代码如下：

#!/usr/bin/env python3
    # -*- coding: utf-8 -*-
    
    import re
    import urllib.request
    import urllib.error
    import urllib.parse
    import json
    
    
    
    def get_all_hotSong():     #获取热歌榜所有歌曲名称和id
        url='http://music.163.com/discover/toplist?id=3778678'    #网易云云音乐热歌榜url
        header={    #请求头部
            'User-Agent':'Mozilla/5.0 (X11; Fedora; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36'
        }
        request=urllib.request.Request(url=url, headers=header)
        html=urllib.request.urlopen(request).read().decode('utf8')   #打开url
        html=str(html)     #转换成str
        pat1=r'<ul class="f-hide"><li><a href="/song\?id=\d*?">.*</a></li></ul>'  #进行第一次筛选的正则表达式
        result=re.compile(pat1).findall(html)     #用正则表达式进行筛选
        result=result[0]     #获取tuple的第一个元素
    
        pat2=r'<li><a href="/song\?id=\d*?">(.*?)</a></li>' #进行歌名筛选的正则表达式
        pat3=r'<li><a href="/song\?id=(\d*?)">.*?</a></li>'  #进行歌ID筛选的正则表达式
        hot_song_name=re.compile(pat2).findall(result)    #获取所有热门歌曲名称
        hot_song_id=re.compile(pat3).findall(result)    #获取所有热门歌曲对应的Id
    
        return hot_song_name,hot_song_id
    
    def get_hotComments(hot_song_name,hot_song_id):
        url='http://music.163.com/weapi/v1/resource/comments/R_SO_4_' + hot_song_id + '?csrf_token='   #歌评url
        header={    #请求头部
       'User-Agent':'Mozilla/5.0 (X11; Fedora; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36'
    }
        #post请求表单数据
        data={'params':'zC7fzWBKxxsm6TZ3PiRjd056g9iGHtbtc8vjTpBXshKIboaPnUyAXKze+KNi9QiEz/IieyRnZfNztp7yvTFyBXOlVQP/JdYNZw2+GRQDg7grOR2ZjroqoOU2z0TNhy+qDHKSV8ZXOnxUF93w3DA51ADDQHB0IngL+v6N8KthdVZeZBe0d3EsUFS8ZJltNRUJ','encSecKey':'4801507e42c326dfc6b50539395a4fe417594f7cf122cf3d061d1447372ba3aa804541a8ae3b3811c081eb0f2b71827850af59af411a10a1795f7a16a5189d163bc9f67b3d1907f5e6fac652f7ef66e5a1f12d6949be851fcf4f39a0c2379580a040dc53b306d5c807bf313cc0e8f39bf7d35de691c497cda1d436b808549acc'}
        postdata=urllib.parse.urlencode(data).encode('utf8')  #进行编码
        request=urllib.request.Request(url,headers=header,data=postdata)
        reponse=urllib.request.urlopen(request).read().decode('utf8')
        json_dict=json.loads(reponse)   #获取json
        hot_commit=json_dict['hotComments']  #获取json中的热门评论
        
    
        num=0
        fhandle=open('./song_comments','a')  #写入文件
        fhandle.write(hot_song_name+':'+'\n')
    
        for item in hot_commit:
            num+=1
            fhandle.write(str(num)+'.'+item['content']+'\n')
        fhandle.write('\n==============================================\n\n')
    	fhandle.close()
    
    
    
    
    hot_song_name,hot_song_id=get_all_hotSong()  #获取热歌榜所有歌曲名称和id
    
    num=0
    while num < len(hot_song_name):    #保存所有热歌榜中的热评
        print('正在抓取第%d首歌曲热评...'%(num+1))
        get_hotComments(hot_song_name[num],hot_song_id[num])
        print('第%d首歌曲热评抓取成功'%(num+1))
        num+=1

代码运行结果如下：

![这里写图片描述][SouthEast 15]

对比一下网页上《如果我爱你》这首歌的歌评和我们保存下的歌评：

![这里写图片描述][SouthEast 16]

![这里写图片描述][SouthEast 17]

信息无误～

[SouthEast]: /images/20220608/ccc6bc0ff4904f06839429a99743f25c.png
[SouthEast 1]: /images/20220608/63ace696995143b68b680fa210268df6.png
[SouthEast 2]: /images/20220608/96b27ed207264be0a3dc8b363ac70c67.png
[SouthEast 3]: /images/20220608/b0a2f886631648dea29c1b2142b258fa.png
[SouthEast 4]: /images/20220608/4eb2b962bd134ae894414e9ce03bc121.png
[SouthEast 5]: /images/20220608/54b7256688374236b45c3017a4511134.png
[SouthEast 6]: /images/20220608/fbc4462ab9824c5f96bb351a7d240ada.png
[SouthEast 7]: /images/20220608/56dcf1552ecc4bfaafb61d08257b1d5c.png
[SouthEast 8]: /images/20220608/d2d19e13a13546ee8858a90311ba48c7.png
[SouthEast 9]: /images/20220608/9a2507855500418aab597043c14dff6b.png
[https_www.zhihu.com_question_36081767_xixi]: https://www.zhihu.com/question/36081767%EF%BC%89%EF%BC%8C%E6%88%91%E4%BB%AC%E5%9C%A8%E8%BF%99%E9%87%8C%E5%B0%B1%E5%8F%AA%E9%9C%80%E8%A6%81%E7%94%A8%E6%88%91%E4%BB%AC%E8%BF%99%E7%A7%8D%E5%81%B7%E6%87%92%E7%9A%84%E5%8A%9E%E6%B3%95%E5%B0%B1%E5%8F%AF%E4%BB%A5%E5%AE%8C%E6%88%90%E9%9C%80%E6%B1%82%E4%BA%86%EF%BC%8Cxixi%E3%80%82
[SouthEast 10]: /images/20220608/214a25e44584419bba77799ab981941e.png
[SouthEast 11]: /images/20220608/08dd2669d1ae4475b233af6b84178658.png
[SouthEast 12]: /images/20220608/b075da3d1737443c8851e5211131d8b6.png
[SouthEast 13]: /images/20220608/3d4cb898e11c4ab5b3cbf5ceb60fe311.png
[SouthEast 14]: /images/20220608/8a2e047a5aba4d6a9f0f533bc4444595.png
[SouthEast 15]: /images/20220608/3c7fd2d74e0e40dba4e8eb3d1dd6eff5.png
[SouthEast 16]: /images/20220608/7a0f41e2cdf14acdafa3dbee2cf09d02.png
[SouthEast 17]: /images/20220608/99b5676e8e854f608039bebe23bd2546.png