node中使用superagent、cheerio进行爬虫

布满荆棘的人生 2022-09-09 10:58 103阅读 0赞

想必很多人都有这样的一个幻想，我可不可以啥也不用干，就获得别人的劳动成果呢？比如，我想做一个类似与豆瓣这样的app来练手，但是我有没有数据进行支撑，这时候我就想，能不能把豆瓣上的内容爬下来，放到我自己的app里面进行显示呢？

哈哈大家都这样！

ok，立马来开干。

首先我们创建一个express应用

express

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAa3J5c2xpYW5n_size_20_color_FFFFFF_t_70_g_se_x_16][]

接下来用vscode进行打开，并且安装以下插件

npm install --save cheerio superagent

然后打开route下面的index.js文件，加入以下代码，执行就可以啦！

var express = require('express');
    var router = express.Router();
    var cheerio = require('cheerio');
    var superagent = require('superagent');
    const fs = require("fs");
    
    router.get('/catch', function (req, res, next) {
      // 用 superagent 去抓取 网站 的内容
      superagent.get('http://xuetangzaixian.com/yundong/index_4.html')
        .end(function (err, sres) {
          // 常规的错误处理
          if (err) {
            return next(err);
          }
          // sres.text 里面存储着网页的 html 内容，将它传给 cheerio.load 之后
          // 就可以得到一个实现了 jquery 接口的变量，我们习惯性地将它命名为 `$`
          // 剩下就都是 jquery 的内容了
          var $ = cheerio.load(sres.text);
          var items = [];
          $('.list ul li').each(function (idx, element) {
            var $element = $(element);
            let divimg = $element.find('.img a')
            let href = 'http://xuetangzaixian.com/' +  divimg.attr('href')
            let title =  divimg.attr('title')
            let img = divimg.find('img').attr('src')
            items.push({
              title: title,
              href: href,
              img:img
            });
          });
    
          res.send(items);
            //读取文件 先把它读到缓存，然后加上新爬取的数据，再一并插入到json文件中
          fs.readFile("article.json", 'utf-8', function(err, data) {
            if (err) {
                
            } else {
                let olddata = JSON.parse(data)
                if(olddata.length>0){
                  olddata = olddata.concat(items)
                }else{
                  olddata = items
                }
                fs.writeFile("article.json", JSON.stringify(olddata), "utf-8", (error) => {
                  //监听错误，如正常输出，则打印null
                  if (error == null) {
                      console.log("恭喜您，数据爬取成功!)");
                  }
                });
            }
           });
          
        });
    });
    
    module.exports = router;

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAa3J5c2xpYW5n_size_20_color_FFFFFF_t_70_g_se_x_16 1][]

这里面，你需要注意的是，你要研究你爬取网站 所需要部分内容的格式。

就是一开始你获取到整个网页的内容，然后你把你需要的列表部分的li读取出来，然后遍历获取它的属性，就可以了。具体查看cheerio 官网 [https://cheerio.js.org/][https_cheerio.js.org]，里面有更详细的介绍

[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAa3J5c2xpYW5n_size_20_color_FFFFFF_t_70_g_se_x_16]: /images/20220829/83c1e3bb64ad439398119facffef3520.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAa3J5c2xpYW5n_size_20_color_FFFFFF_t_70_g_se_x_16 1]: /images/20220829/8166af2e75c343b5b6d5af69fa4a24e0.png
[https_cheerio.js.org]: https://cheerio.js.org/

发表评论取消回复

表情：

评论列表（有 0 条评论，103人围观）

还没有评论，来说两句吧...

相关阅读

相关 Node.js 实现简易爬虫

为什么选择利用node来写爬虫呢？就是因为cheerio这个库，全兼容jQuery语法，熟悉的话用起来真真是爽依赖选择 [cheerio][]： Node.js

￡神魔★判官ぃ/ 2022年09月30日 12:52/ 0 赞/ 107 阅读

相关 node中使用superagent、cheerio进行爬虫

想必很多人都有这样的一个幻想，我可不可以啥也不用干，就获得别人的劳动成果呢？比如，我想做一个类似与豆瓣这样的app来练手，但是我有没有数据进行支撑，这时候我就想，能不能把豆瓣上

布满荆棘的人生/ 2022年09月09日 10:58/ 0 赞/ 104 阅读

相关 node.js mysql 批量插入,如何使用node.js在MySQL中进行批量插入

![Image 1][] How would one do a bulk insert into mySQL if using something like https:/

╰半夏微凉°/ 2022年08月29日 14:00/ 0 赞/ 133 阅读

相关 node.js之爬虫实现

> 数据引用慕课网 const http = require('http'); const cheerio = require('cheerio');

今天药忘吃喽~/ 2022年05月27日 12:13/ 0 赞/ 98 阅读

相关 Node.js 使用 JWT 进行用户认证

> 代码地址如下： > [http://www.demodashi.com/demo/13847.html][http_www.demodashi.com_demo_138

红太狼/ 2022年05月11日 04:36/ 0 赞/ 223 阅读

相关通过Nginx进行的爬虫反爬虫

[https://mp.weixin.qq.com/s/Y25\_TRrKmVlTMvPrQja\_cg][https_mp.weixin.qq.com_s_Y25_TRrKm

小鱼儿/ 2022年04月18日 00:46/ 0 赞/ 174 阅读

相关 Mac 使用brew进行包更新，例如node

首先执行brew update命令，可以看到那些需要更新的命令 brew update 然后执行brew upgrade xxx 执行需要更新的包，例如更新node

快来打我*/ 2022年04月14日 02:49/ 0 赞/ 1676 阅读

相关 Node.js简单实现爬虫

在实现Node.js获取数据之前，先要了解什么是爬虫。什么是爬虫使用数据请求一段内容，然后将这段内容做数据清洗，最后在通过后端服务器发送到前台页面。安装che

深碍√TFBOYSˉ_/ 2022年01月31日 06:19/ 0 赞/ 215 阅读

相关 node 爬虫

[爬的电影网站][Link 1] 通过异步请求获取到页面资源后再正则选定爬取，正则.exec(内容),只匹配一次, 返回数组,匹配多次需要循环

我不是女神ヾ/ 2021年07月25日 02:54/ 0 赞/ 286 阅读

相关 node cheerio爬虫图片

cherrio 获取html文档内容,操作和jquery一样 cnpm install cheerio -D 使用 let

本是古典何须时尚/ 2021年07月25日 01:13/ 0 赞/ 330 阅读