教你用Python定时抓取微博评论，相当牛逼的技术

我就是我 2023-07-18 05:53 42阅读 0赞

# 【Part1——理论篇】 #

试想一个问题，如果我们要抓取某个微博大V微博的评论数据，应该怎么实现呢？最简单的做法就是找到微博评论数据接口，然后通过改变参数来获取最新数据并保存。首先从微博api寻找 抓取评论的接口，如下图所示。  
写到这里，顺便给大家推荐一个资源很全的python学习免非解答.裙 ：七衣衣九七七巴而五（数字的谐音）转换下可以找到了，这里有资深程序员分享以前学习心得，学习笔记，还有一线企业的工作经验，且给大家精心整理一份python零基础到项目实战的资料，每天给大家讲解python最新的技术，前景，学习需要留言的小细节![20200324155516528.gif][]

![format_png][]

但是很不幸，该接口频率受限，抓不了几次就被禁了，还没有开始起飞，就凉凉了。

![format_png 1][]

接下来小编又选择微博的移动端网站，先登录，然后找到我们想要 抓 取评论的微博，打开浏览器自带流量分析工具，一直下拉评论，找到评论数据接口，如下图所示。

![format_png 2][]

之后点击“参数”选项卡，可以看到参数为下图所示的内容：

![format_png 3][]

可以看到总共有4个参数，其中第1、2个参数为该条微博的id，就像人的身份证号一样，这个相当于该条微博的“身份证号”，max\_id是变换页码的参数，每次都要变化，下次的max\_id参数值在本次请求的返回数据中。

![format_png 4][]

【Part2——实战篇】

有了上文的基础之后，下面我们开始撸代码，使用Python进行实现。

1、首先区分url，第一次不需要max\_id,第二次需要用第一次返回的max\_id。

![format_png 5][]

2、请求的时候需要带上cookie数据，微博cookie的有效期比较长，足够 抓 一条微博的评论数据了，cookie数据可以从浏览器分析工具中找到。 ![format_png 6][]![format_png 6][]

3、然后将返回数据转换成json格式，取出评论内容、评论者昵称和评论时间等数据，输出结果如下图所示。

![format_png 7][]

4、为了保存评论内容，我们要将评论中的表情去掉，使用正则表达式进行处理，如下图所示。

5、之后接着把内容保存到txt文件中，使用简单的open函数进行实现，如下图所示。 ![format_png 8][]![format_png 8][]

6、重点来了，通过此接口最多只能返回16页的数据（每页20条），网上也有说返回50页的，但是接口不同、返回的数据条数也不同，所以我加了个for循环，一步到位，遍历还是很给力的，如下图所示。

![format_png 9][]

7、这里把函数命名为job。为了能够一直取出最新的数据，我们可以用schedule给程序加个定时功能，每隔10分钟或者半个小时抓1次，如下图所示。

![format_png 10][]

8、对获取到的数据，做去重处理，如下图所示。如果评论已经在里边的话，就直接pass掉，如果没有的话，继续追加即可。

![format_png 11][]

这项工作到此就基本完成了。

【Part3——总结篇】

这种方法虽然抓不全数据，但在这种微博的限制条件下，也是一种比较有效的方法。写到这里，顺便给大家推荐一个资源很全的python学习免非解答.裙 ：七衣衣九七七巴而五（数字的谐音）转换下可以找到了，这里有资深程序员分享以前学习心得，学习笔记，还有一线企业的工作经验，且给大家精心整理一份python零基础到项目实战的资料，每天给大家讲解python最新的技术，前景，学习需要留言的小细节  
本文的文字及图片来源于网络加上自己的想法,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理。

[20200324155516528.gif]: /images/20230528/a9d2e42f85864b95bffbec6986fbea77.png
[format_png]: /images/20230528/3428a4b5c96243ad867bbfad214a4f54.png
[format_png 1]: /images/20230528/f0159a5a344d48ebb6d29b5630e48398.png
[format_png 2]: /images/20230528/349a8a35939d40ab880d27bf44c76ddb.png
[format_png 3]: /images/20230528/04c9aef5247c46609cc442564448e0bc.png
[format_png 4]: /images/20230528/e518d045ccbb482f8652eaf6850bbd26.png
[format_png 5]: /images/20230528/57be44a1005c4df6b2b8c09d3f82ce29.png
[format_png 6]: /images/20230528/16cb1eaf200048f29158b964f191be3d.png
[format_png 7]: /images/20230528/1873a50a4ccf43508d63f4816117d0ea.png
[format_png 8]: /images/20230528/ae1ae762ae404086a0a6e2d8c1fa6af9.png
[format_png 9]: /images/20230528/c6925c70c3234b43b96fb626fa63700a.png
[format_png 10]: /images/20230528/b4cba178dbcf447d93d0073bb54cccb1.png
[format_png 11]: /images/20230528/ccc0abc3696e4d0287c274b2fbfcabae.png