从零到一学爬虫-爬取微博热搜示例

迷南。 2022-09-08 00:16 279阅读 0赞

# 爬取微博热搜榜-简单示例 #

使用爬虫模拟浏览器向微博热搜的服务器发送请求，得到响应，然后将响应的信息进行打印。  
当我们直接打开浏览器，输入https://s.weibo.com/top/summary，最后会进入到微博热搜的页面。  
我们使用爬虫模拟这个行为：

import requests
    
    url = 'https://s.weibo.com/top/summary'
    
    resp = requests.get(url)  # 利用第三方模块requests向服务器发送请求并获取响应结果，对于一些网站需要设置header内容。
    print(type(resp))  # 响应为<class 'requests.models.Response'>类型的数据
    print(resp.status_code)  # 打印响应的状态码
    resp.encoding = 'utf-8'  # 设置response对象的编码格式
    print(resp.text)  # 将response对象转成字符串类型进行输出

运行结果如下：

<class 'requests.models.Response'>
    200
    <!DOCTYPE html>
    <html>
    <head>
        <meta charset="utf-8">
        <meta http-equiv="X-UA-Compatible" content="IE=edge"/>
        <meta name="renderer" content="webkit"/>
        <meta name="viewport" content="initial-scale=1,minimum-scale=1"/>
        <title>微博搜索-热搜榜</title>
        <link href="//img.t.sinajs.cn/t4/appstyle/searchpc/css/pc/css/video.css?version=202108202110" rel="stylesheet"/>
        <link href="//img.t.sinajs.cn/t4/appstyle/searchpc/css/pc/css/global.css?version=202108202110" rel="stylesheet"/>
        <link href="//img.t.sinajs.cn/t4/appstyle/searchpc/css/pc/css/module.css?version=202108202110" rel="stylesheet"/>
        <link href="//img.t.sinajs.cn/t4/appstyle/searchpc/css/pc/css/page.css?version=202108202110" rel="stylesheet"/>
        <link href="//img.t.sinajs.cn/t4/appstyle/searchpc/css/pc/css/card.css?version=202108202110" rel="stylesheet"/>
        <link href="//img.t.sinajs.cn/t4/appstyle/searchpc/css/pc/css/css_v6/layer/layer_show_pic.css?version=202108202110"
              rel="stylesheet"/>
    内容过多就不全贴在这了。
    </html>
    
    
    Process finished with exit code 0

接下来，我们要做的事情，爬取热搜榜的内容

其实上面我们已经得到了这个网页的html的代码，接下来就是对这个html的代码进行解析获取其中的内容，具体就是利用bs4去对html进行解析，通过在网页上分析可以看出来，这些热搜排行的内容在html是以`<td class="td-02"> <a href="/weibo?q=%23%E5%8F%91%E6%89%AC%E5%A1%9E%E7%BD%95%E5%9D%9D%E7%B2%BE%E7%A5%9E%23&Refer=new_time" target="_blank">发扬塞罕坝精神</a> </td>` 表示的，因此解析时，我们去寻找td标签，且标签的属性时td-02就可以了。

bs = BeautifulSoup(resp.text, 'html.parser')
    td_tag = bs.find('td', class_='td-02')  # 提取满足要求的首个数据
    print(td_tag)  # 输出该tag
    print(td_tag.text)  # 提取tag中的文本
    print(td_tag.find('a')['href'])  # 提取该tag中标签为‘a’的数据，然后提取属性为href的属性值

运行结果：  
![在这里插入图片描述][e05f41a16e2644bfa5580e763f6d21f9.png]

all_td_tag = bs.find_all('td', class_='td-02')  # 提取满足要求的所有数据
    print(all_td_tag)  # 输出提取到的数据
    print(type(all_td_tag))  # 输出find_all提取的数据的类型，该类型的对象是一个可迭代的对象
    
    # 循环输出提取的数据的内容
    for item in all_td_tag:
        print(item.find('a').text)

运行结果如下（由于结果内容过长，仅展示部分内容）

<a href="/weibo?q=%23%E5%8F%91%E6%89%AC%E5%A1%9E%E7%BD%95%E5%9D%9D%E7%B2%BE%E7%A5%9E%23&Refer=new_time" target="_blank">发扬塞罕坝精神</a>
    </td>, <td class="td-02">
    <a href="/weibo?q=%23%E9%92%B1%E6%9E%AB%E4%BA%8B%E4%BB%B6%E5%BD%93%E4%BA%8B%E4%BA%BA%E5%85%AC%E5%B8%83%E9%83%A8%E5%88%86%E7%9B%91%E6%8E%A7%E8%A7%86%E9%A2%91%23&Refer=top" target="_blank">视频</a>
    <span>7781415</span>
    </td>]
    发扬塞罕坝精神
    爸爸对孩子的颜值影响有多大
    内容过多，就不一一列举结果了，可以自行运行查看结果
    
    Process finished with exit code 0

此时再通过将这些内容写入到文件中保存就可以了。

[e05f41a16e2644bfa5580e763f6d21f9.png]: /images/20220829/e7d0c43159314683860370d27a71b391.png