Python有趣|微博网红大比拼

╰+哭是因爲堅強的太久メ 2021-09-19 03:06 212阅读 0赞

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDgxMTQxNw_size_16_color_FFFFFF_t_70][]

前言

python爬爬可以说啥都能爬到,今天小编就给大家分享一下怎样爬微博网红，我们找找谁是最美网红。今天的流程如下：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDgxMTQxNw_size_16_color_FFFFFF_t_70 1][]

网页分析

这里的微博网红链接：https://weibo.com/a/hot/7549094253303809\_1.html，这个是微博关注中的新鲜事（大家不需要了解太多，就这个url即可）。里面收集了近段时间的热门网红微博。

哦对了，在分享这篇文字前，我先说一下，我这里有一份python学习资料，加小编微信：**Pythonsusu**

有视频教程 ，直播课程 ，等学习资料，期待你的加入

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDgxMTQxNw_size_16_color_FFFFFF_t_70 2][]

这个网页简单，我们直接使用lxml库来解析即可。这里就强调一点，这个图片是普清的，进入详细页面可以是高清图片，但我发现只需要将图片的url中的“thumb180”换成“mw690”就可以将图换成高清。例如：

1.  `https://ww4.sinaimg.cn/thumb180/6960aeaaly1g23wtlad3sj21sc2dsu0x.jpg`
2.   
3.  `https://ww4.sinaimg.cn/mw690/6960aeaaly1g23wtlad3sj21sc2dsu0x.jpg`

爬虫代码

根据上面的思路，我们编写爬虫代码：

1.  `import requests`
2.  `from lxml import etree`
3.  `import re`
4.   
5.  `headers = {`
6.  `'cookie':''`
7.  `}`
8.   
9.  `url = 'https://weibo.com/a/hot/7549094253303809_1.html'`
10.  
11. `res = requests.get(url,headers=headers)`
12. `html = etree.HTML(res.text)`
13. `infos = html.xpath('//div[@class="UG_list_a"]')`
14.  
15. `for info in infos:`
16. `name = info.xpath('div[2]/a[2]/span/text()')[0]`
17. `content = info.xpath('h3/text()')[0].strip()`
18. `imgs = info.xpath('div[@class="list_nod clearfix"]/div/img/@src')`
19. `print(name,content)`
20. `i = 1`
21. `for img in imgs:`
22. `href = 'https:' + img.replace('thumb180','mw690')`
23. `print(href)`
24. `res_1 = requests.get(href,headers=headers)`
25. `fp = open('row_img/' + name + '+' + content + '+' + str(i) + '.jpg','wb')`
26. `fp.write(res_1.content)`
27. `i = i + 1`

记得换上自己的cookie后就可以直接使用啦~

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDgxMTQxNw_size_16_color_FFFFFF_t_70 3][]

人脸识别API

之前我们就讲解过了人脸识别API的使用，这里把在讲解一遍。

首先，打开网址（http://ai.baidu.com/tech/face），登陆后立即使用，我们首先创建一个人脸识别的应用。api的使用说简单很简单（看文档就好了），说难也很难（大家的阅读能力在慢慢下降）。首先，我们看着文档（https://ai.baidu.com/docs\#/Face-Detect-V3/top），一步步来。

接着我们通过API Key和Secret Key获取token：

1.  `import requests`
2.   
3.  `ak = ''`
4.  `sk = ''`
5.   
6.  `host = 'https://aip.baidubce.com/oauth/2.0/token?grant_type=client_credentials&client_id={}&client_secret={}'.format(ak,sk)`
7.   
8.  `res = requests.post(host)`
9.  `print(res.text)`

我们拿着token，来请求对应的网页就可以获取图片的内容了。我们拿张超越妹妹的图片做例子~

1.  `import base64`
2.  `import json`
3.   
4.  `token = ''`
5.   
6.  `def get_img_base(file):`
7.  `with open(file,'rb') as fp:`
8.  `content = base64.b64encode(fp.read())`
9.  `return content`
10.  
11. `request_url = "https://aip.baidubce.com/rest/2.0/face/v3/detect"`
12. `request_url = request_url + "?access_token=" + token`
13.  
14. `params = {`
15. `'image':get_img_base('test.jpg'),`
16. `'image_type':'BASE64',`
17. `'face_field':'age,beauty,gender'`
18. `}`
19.  
20. `res = requests.post(request_url,data=params)`
21. `result = res.text`
22. `json_result = json.loads(result)`
23. `code = json_result['error_code']`
24. `gender = json_result['result']['face_list'][0]['gender']['type']`
25. `beauty = json_result['result']['face_list'][0]['beauty']`
26. `print(code,gender,beauty)`
27.  
28. `### result 0 female 76.25`

这里的token为前面请求得到的，params的参数中，图片需要base64编码~超越妹妹76.25，还算给力。

综合使用

最后，我们逐一请求我们保存的图片，获取小姐姐图片的分数（这里处理为1-10分），并分别存在不同的文件夹中。

1.  `import requests`
2.  `import os`
3.  `import base64`
4.  `import json`
5.  `import time`
6.   
7.  `def get_img_base(file):`
8.  `with open(file,'rb') as fp:`
9.  `content = base64.b64encode(fp.read())`
10. `return content`
11.  
12. `file_path = 'row_img'`
13. `list_paths = os.listdir(file_path)`
14. `for list_path in list_paths:`
15. `img_path = file_path + '/' + list_path`
16. `# print(img_path)`
17.  
18. `token = '24.890f5b6340903be0642f9643559aa7a1.2592000.1557979582.282335-15797955'`
19.  
20. `request_url = "https://aip.baidubce.com/rest/2.0/face/v3/detect"`
21. `request_url = request_url + "?access_token=" + token`
22.  
23. `params = {`
24. `'image':get_img_base(img_path),`
25. `'image_type':'BASE64',`
26. `'face_field':'age,beauty,gender'`
27. `}`
28.  
29. `res = requests.post(request_url,data=params)`
30. `json_result = json.loads(res.text)`
31. `code = json_result['error_code']`
32. `if code == 222202:`
33. `continue`
34.  
35. `try:`
36. `gender = json_result['result']['face_list'][0]['gender']['type']`
37. `if gender == 'male':`
38. `continue`
39. `beauty = json_result['result']['face_list'][0]['beauty']`
40. `new_beauty = round(beauty/10,1)`
41. `print(img_path,new_beauty)`
42. `if new_beauty >= 8:`
43. `os.rename(os.path.join(file_path,list_path),os.path.join('8分',str(new_beauty) + '+' + list_path))`
44. `elif new_beauty >= 7:`
45. `os.rename(os.path.join(file_path,list_path),os.path.join('7分',str(new_beauty) + '+' + list_path))`
46. `elif new_beauty >= 6:`
47. `os.rename(os.path.join(file_path,list_path),os.path.join('6分',str(new_beauty) + '+' + list_path))`
48. `elif new_beauty >= 5:`
49. `os.rename(os.path.join(file_path,list_path),os.path.join('5分',str(new_beauty) + '+' + list_path))`
50. `else:`
51. `os.rename(os.path.join(file_path,list_path),os.path.join('其他分',str(new_beauty) + '+' + list_path))`
52. `time.sleep(1)`
53.  
54. `except KeyError:`
55. `pass`
56. `except TypeError:`
57. `pass`

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDgxMTQxNw_size_16_color_FFFFFF_t_70 4][]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDgxMTQxNw_size_16_color_FFFFFF_t_70]: /images/20210812/44a181369aa34e72806e8125498d4599.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDgxMTQxNw_size_16_color_FFFFFF_t_70 1]: /images/20210812/43d91c7f37204f4da7e23485be6d992a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDgxMTQxNw_size_16_color_FFFFFF_t_70 2]: /images/20210812/5a2d3f09b15b42d7835c82de554ffdbc.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDgxMTQxNw_size_16_color_FFFFFF_t_70 3]: /images/20210812/371652cfb42542d5a0443a8cdacf4b70.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDgxMTQxNw_size_16_color_FFFFFF_t_70 4]: /images/20210812/da5fad2de88740e1973e16133ea7352d.png