node puppeteer爬虫，爬取微博热搜数据

刺骨的言语ヽ痛彻心扉 2021-10-01 11:20 430阅读 0赞

> 确保自己熟练使用async与await以及分析dom结构

`npm i puppeteer`

### 在node引用 ###

const puppeteer = require('puppeteer');

### 尝试在无头浏览器打开微博热搜 ###

const puppeteer = require('puppeteer');
    var scrape = async () => {
        // 初始化无头浏览器
        const browser = await puppeteer.launch({headless: false});
        // 在无头浏览器打开一个空白标签
        const page = await browser.newPage();
        // 给刚刚打开的空白标签给予链接跳转
        await page.goto('https://s.weibo.com/top/summary');
        // close()用于关闭无头浏览器
        // browser.close()
        return '执行完毕啦'
    }
    scrape().then((value) => {
        console.log(value)
    });

### 打开了无头浏览器之后如何获取里面的元素呢？怎么进行爬虫呢 ###

*  直接用原生的`document.getElementById` `document.getElementsByClassName` `querySelector` `querySelectorAll`等等
 *  或者用puppeteer自带的 `$eval()` `$$eval()`  
    获取单个元素可用`$eval()`和jq差不多，相当于原生js的`querySelector`  
    获取元素组可用`$$eval()`和`$eval()`用法一样，相当于原生的`querySelectorAll`

### 分析热搜榜dom结构 ###

![18749935-2f47d3582e5d9738.png][]

上面说了获取元素组要用到 `$$eval()`我们要获取这一组的 `tr`标签，可以这样子获取

await page.$$eval('#pl_top_realtimehot table tbody tr', e => e)

**注：e其实就是元素组**

console.log(await page.$$eval('#pl_top_realtimehot table tbody tr', e => e.length)) // 51

获取tr的代码

const puppeteer = require('puppeteer');
    var scrape = async () => {
        // 初始化无头浏览器
        const browser = await puppeteer.launch({headless: false});
        // 新建页面
        const page = await browser.newPage();
        // 跳转到指定页面
        await page.goto('https://s.weibo.com/top/summary/');
        // 获取tr结构
        const data = await page.$$eval('#pl_top_realtimehot table tbody tr', e => e)
        browser.close()
        return data
    }
    scrape().then((value) => {
        console.log(value)
    });

### 如何获取tr标签里面的元素？实现正在意义上的爬虫？？ ###

先确认确认我们需要哪些数据，然后分析dom结构

![18749935-befa87264c4c381a.png][]

分析了dom了之后

1.  遍历tr
2.  从tr里面获取每一项的数据

const puppeteer = require('puppeteer');
    var scrape = async () => {
        // 初始化无头浏览器
        const browser = await puppeteer.launch({headless: false});
        // 新建页面
        const page = await browser.newPage();
        // 跳转到指定页面
        await page.goto('https://s.weibo.com/top/summary/');
        // 获取tr，并且循环
        const data = await page.$$eval('#pl_top_realtimehot table tbody tr', e => e.map(el => {
          // 获取需要的数据
          const title = el.querySelector('td.td-02 a').innerHTML
          const hot = el.querySelector('td.td-02 span')
          const tag = el.querySelector('td.td-03').innerText
          return {
            title,
            hot: hot ? hot.innerHTML : 0,
            tag
          }
        }))
        browser.close()
        return data
    }
    scrape().then((value) => {
        console.log(value)
    });

![18749935-acf9dfe98e96784a.png][]

[18749935-2f47d3582e5d9738.png]: /images/20210825/7cd5a1a637f746eea783a62c8b9e3ee2.png
[18749935-befa87264c4c381a.png]: /images/20210825/f4830e359d864e9e9f7fffdf79f45db8.png
[18749935-acf9dfe98e96784a.png]: /images/20210825/092406be6c674b7083278659446b2f04.png

发表评论取消回复

表情：

评论列表（有 0 条评论，430人围观）

还没有评论，来说两句吧...

相关阅读

相关绝了！Python定时爬取微博热搜+pyecharts动态图展示

![format_png][] 作者：叶庭云来源：凹凸数据 > 本文介绍了可以实现定时执行任务的schedule模块，利用它实现定时爬取微博热搜数据，保存到CSV

分手后的思念是犯贱/ 2022年12月08日 14:22/ 0 赞/ 290 阅读

相关绝了！Python定时爬取微博热搜+pyecharts动态图展示

![cd66a514068fd370c51fe93f8783b33a.gif][] 作者：叶庭云来源：凹凸数据 > 本文介绍了可以实现定时执行任务的schedule模块

阳光穿透心脏的1/2处/ 2022年11月19日 01:20/ 0 赞/ 323 阅读

相关微博热搜榜html源码,几行代码完成微博热搜榜爬虫

每天微博热搜都在不定时的变，通过抓取热搜数据，可以方便我们知道每天的热搜内容。 python的几行代码就能简单爬取到热搜的数据。 1.数据抓取首先，我们得知道微博热搜内

柔光的暖阳◎/ 2022年10月06日 10:46/ 0 赞/ 534 阅读

相关 JAVA——微博热搜爬虫

源代码：https://gitee.com/my-zstu/myzstu/blob/develop/myzstu-spyder/src/main/java/club/zstuc

小鱼儿/ 2022年09月08日 14:50/ 0 赞/ 203 阅读

相关从零到一学爬虫-爬取微博热搜示例

爬取微博热搜榜-简单示例使用爬虫模拟浏览器向微博热搜的服务器发送请求，得到响应，然后将响应的信息进行打印。当我们直接打开浏览器，输入https://s.weibo

迷南。/ 2022年09月08日 00:16/ 0 赞/ 274 阅读

相关【爬虫】python爬取微博热搜榜top50

1.说明微博热搜很有用，不用登录可以访问网页版[https://s.weibo.com/top/summary][https_s.weibo.com_top_summa

待我称王封你为后i/ 2022年08月30日 05:30/ 0 赞/ 362 阅读

相关 Python网络爬虫-爬取微博热搜

微博热搜的爬取较为简单，我只是用了lxml和requests两个库　　url=[https://s.weibo.com/top/summary?Refer=top\_hot

雨点打透心脏的1/2处/ 2022年01月07日 08:37/ 0 赞/ 363 阅读

相关 node puppeteer爬虫，爬取微博热搜数据

> 确保自己熟练使用async与await以及分析dom结构 `npm i puppeteer` 在node引用 const puppeteer = requ

刺骨的言语ヽ痛彻心扉/ 2021年10月01日 11:20/ 0 赞/ 431 阅读

相关用python爬虫爬取微博信息

用python爬虫爬取微博信息话不多说，直接上代码！ import requests from bs4 import BeautifulSoup

短命女/ 2021年07月26日 22:31/ 0 赞/ 529 阅读

相关 python异步爬虫爬取微博信息

python异步爬虫爬取微博信息话不多说，直接上代码！ import aiohttp import asyncio from bs4 impo

叁歲伎倆/ 2021年07月26日 14:54/ 0 赞/ 581 阅读