用python爬虫爬取微博信息

短命女 2021-07-26 22:31 533阅读 0赞

## 用python爬虫爬取微博信息 ##

**话不多说，直接上代码！**

import requests
    from bs4 import BeautifulSoup
    from urllib import parse
    import time
    
    headers = { "User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.105 Safari/537.36 Edg/84.0.522.52"}
    
    def get_html(url):
        html = requests.get(url,headers=headers)
        if html.status_code==200:
            print("获取页面成功")
            parse_html(html.text)
        else:
            print("ERROR",html.text)
        return
    
    def parse_html(content):
        soup = BeautifulSoup(content,'lxml')
        trs = soup.select('table tbody tr')
        for tr in trs:
            title = tr.select_one('td a').text
            url = tr.select_one('td a')['href']
            url = parse.urljoin('https://s.weibo.com',url)
            message = title+url+'\n'
            with open("C:/Users/86135/Desktop/微博信息.txt",'at',encoding='utf-8') as f:
                f.write(message)
                f.close()
    
    if __name__ == '__main__':
        start = time.time()
        url = "https://s.weibo.com/top/summary?Refer=top_hot&topnav=1&wvr=6"
        get_html(url)
        url2 = "https://s.weibo.com/top/summary?cate=socialevent"
        get_html(url2)
        print(time.time()-start)

**运行结果如下：**  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2d1b3h1eWluZw_size_16_color_FFFFFF_t_70_pic_center]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2d1b3h1eWluZw_size_16_color_FFFFFF_t_70_pic_center]: /images/20210726/348af3094c184c5592927a6476d14cc5.png

发表评论取消回复

表情：

评论列表（有 0 条评论，533人围观）

还没有评论，来说两句吧...

相关阅读

相关 python爬取某个博主微博动态

chrome为例微博页数的显示只有网址后面的page在变化，这个就很容易获取到每页动态的网址，当然直接get是获取不到的，记得带上cookie 最主要的是微博是网页...

深碍√TFBOYSˉ_/ 2024年04月17日 18:25/ 0 赞/ 57 阅读

相关【爬虫】python爬取微博热搜榜top50

1.说明微博热搜很有用，不用登录可以访问网页版[https://s.weibo.com/top/summary][https_s.weibo.com_top_summa

待我称王封你为后i/ 2022年08月30日 05:30/ 0 赞/ 366 阅读

相关 python小爬虫(爬取职位信息和博客文章信息)

1.python爬取招聘信息简单爬取智联招聘职位信息（仅供学习）！/usr/bin/env python --coding:utf-8--

心已赠人/ 2022年04月08日 15:11/ 0 赞/ 313 阅读

相关 python 爬虫爬取小说信息

1.进入小说主页（以下示例是我在网上随便找的一片小说），获取该小说的名称、作者以及相关描述信息 2.获取该小说的所有章节列表信息（最重要的是每个章节的链接地址href） 3

桃扇骨/ 2022年04月02日 11:42/ 0 赞/ 561 阅读

相关 Python网络爬虫-爬取微博热搜

微博热搜的爬取较为简单，我只是用了lxml和requests两个库　　url=[https://s.weibo.com/top/summary?Refer=top\_hot

雨点打透心脏的1/2处/ 2022年01月07日 08:37/ 0 赞/ 364 阅读

相关 Python爬虫学习笔记之爬取新浪微博

1 import requests 2 from urllib.parse import urlencode 3 from pyquery impo

拼搏现实的明天。/ 2022年01月05日 02:33/ 0 赞/ 332 阅读

相关 python爬虫——爬取携程机票信息

前提编译IDA：pycharm 社区版 python版本：python3.7.4 用到的库：json(自带)、requests（导入）、pymysql（导入）

港控/mmm°/ 2021年12月04日 07:23/ 0 赞/ 2309 阅读

相关用python爬虫爬取微博信息

用python爬虫爬取微博信息话不多说，直接上代码！ import requests from bs4 import BeautifulSoup

短命女/ 2021年07月26日 22:31/ 0 赞/ 534 阅读

相关 python爬虫爬取京东商品信息

python爬虫爬取京东商品信息话不多说，直接上代码！ import requests from bs4 import BeautifulSoup

超、凢脫俗/ 2021年07月26日 14:56/ 0 赞/ 900 阅读

相关 python异步爬虫爬取微博信息

python异步爬虫爬取微博信息话不多说，直接上代码！ import aiohttp import asyncio from bs4 impo

叁歲伎倆/ 2021年07月26日 14:54/ 0 赞/ 585 阅读