Python抓取新浪微博用户信息(Selenium+PyQuery+BeautifulSoup)

深藏阁楼爱情的钟 2022-05-13 08:26 285阅读 0赞

代码移步：[https://github.com/AnRanbel/Python/tree/master/PythonCrawler/weibospider][https_github.com_AnRanbel_Python_tree_master_PythonCrawler_weibospider]

我是在这位作者[https://github.com/dataabc/weiboSpider][https_github.com_dataabc_weiboSpider]代码的基础上加了微博数抓取(主要是想用一下selenium试试)和分析数据,当前代码只能抓取原创微博,其实要实现全部微博的获取(转发+原创)也很简单,大家可以自己试试(用手机网页版[https://weibo.cn/][https_weibo.cn]抓取微博,2012年以前的原创微博没有包括在原创模式下,所以变量filter的意义不大)  
![70][]

# 结果展示 #

![70 1][]

![70 2][]

![70 3][]

![70 4][]

# 使用说明 #

**因为要使用selenium,所有需先安装库selenium以及下载对应版本的Chrome Webdriver或者Firefox Webdriver(自行百度).可根据自己的情况选择使用Chrome或Firefox,以及有头模式或无头模式,见代码272行:**  
![70 5][]

1.  获取微博登录cookies  
    浏览器地址栏输入[https://passport.weibo.cn/signin/login][https_passport.weibo.cn_signin_login],打开浏览器开发者工具(Chrome快捷键F12),切换到Network,勾选Preserve log,点击登录按钮,获取cookies,用于模拟登录  
    ![70 6][]
2.  获取微博用户id  
    登录后，浏览器地址栏输入[https://weibo.cn][https_weibo.cn],搜索微博用户，获取相应id  
    ![70 7][]  
    地址栏u/后面的那串数字就是user\_id,复制粘贴到user\_id变量中
3.  程序运行中可能会出现的问题

*  报错requests.exceptions.SSLError: HTTPSConnectionPool(host='weibo.cn', port=443): Max retries exceeded with url: /1192329893/info (Caused by SSLError(SSLEOFError(8, 'EOF occurred in violation of protocol (\_ssl.c:833)'),))  
    通常只需要隔一会儿再重新启动程序即可
 *  微博拒绝访问和网页获取失败  
    此程序大体分为6步进行,其中最易出错的就是get\_weibo\_info()和get\_weibo\_num()。如果你要抓取的微博用户微博数过多（>1000）可以考虑两个函数分两次运行（**第一次运行先注释掉self.get\_weibo\_num,另外注释掉write\_txt()中"\#将微博发布数写入文件"的代码和analyse()中"\#发布数统计——条形图"的代码;第二次运行先删掉第一次的注释,再注释掉self.get\_weibo\_info,另外注释掉write\_txt()中"\# 将微博内容写入文件"的代码和analyse()中"\# 词汇统计——词云"的代码）  
    ![70 8][]**  
    (1)**get\_weibo\_info()获取微博数太多,微博可能会拒绝访问**  
    只需要等几分钟,重新运行程序  
    注意:如果不想再从第一条微博开始抓取,想接着上次继续抓取,可以对代码做如下修改:  
    将代码500行的"wb"改为"ab"  
    ![70 9][]  
    打开存放微博内容的文本(your\_user\_id.txt),查看上次抓取到的最后一条微博的序号x,再将代码486行的"str(i)"改为"str(x+i)"  
    ![70 10][]  
    用手机网页版打开微博用户页面[https://weibo.cn/u/your\_user\_id][https_weibo.cn_u_your_user_id],查看上次抓取停止在哪一页,如果上次停止在y页,则将代码139行的"for page in range(1, page\_num + 1)"改为"for page in range(y+1, page\_num + 1)",然后再次运行程序(注意删除文本中这次运行新添加的非微博内容信息)  
    ![70 11][]  
    (2)**get\_weibo\_num()获取微博数太多,网络性能会降低**  
    微博数很多的话,运行程序的同时最好不要干其他事

[https_github.com_AnRanbel_Python_tree_master_PythonCrawler_weibospider]: https://github.com/AnRanbel/Python/tree/master/PythonCrawler/weibospider
[https_github.com_dataabc_weiboSpider]: https://github.com/dataabc/weiboSpider
[https_weibo.cn]: https://weibo.cn/
[70]: /images/20220513/919285b456364c2f922930cc3384c43e.png
[70 1]: /images/20220513/28b9b58b0deb4cccab0c4ea4350268d9.png
[70 2]: /images/20220513/6153cefe7e764f16891bf18210b56b2f.png
[70 3]: /images/20220513/09e0228d274d4b6fa71d271d173b680e.png
[70 4]: /images/20220513/6fa09dfaa3b74c88a438fce2cebe358a.png
[70 5]: /images/20220513/518eebff4519478586fd774ecc5d193c.png
[https_passport.weibo.cn_signin_login]: https://passport.weibo.cn/signin/login
[70 6]: /images/20220513/a1f6cb8539a842bca96382b2719f65c8.png
[70 7]: /images/20220513/1554b91a64ef4479919bc2c36454f8d3.png
[70 8]: /images/20220513/e056e7339bd14f5ea1d75b13bfee1af4.png
[70 9]: /images/20220513/49ef82ca4e604477881916c97a412082.png
[70 10]: /images/20220513/6301bd109af944f5a852e881ef23b179.png
[https_weibo.cn_u_your_user_id]: https://weibo.cn/u/your_user_id
[70 11]: /images/20220513/27b959b31cc1489e96918addf8a6b1ff.png