node中使用superagent、cheerio进行爬虫

布满荆棘的人生 2022-09-09 10:58 133阅读 0赞

想必很多人都有这样的一个幻想，我可不可以啥也不用干，就获得别人的劳动成果呢？比如，我想做一个类似与豆瓣这样的app来练手，但是我有没有数据进行支撑，这时候我就想，能不能把豆瓣上的内容爬下来，放到我自己的app里面进行显示呢？

哈哈大家都这样！

ok，立马来开干。

首先我们创建一个express应用

express

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAa3J5c2xpYW5n_size_20_color_FFFFFF_t_70_g_se_x_16][]

接下来用vscode进行打开，并且安装以下插件

npm install --save cheerio superagent

然后打开route下面的index.js文件，加入以下代码，执行就可以啦！

var express = require('express');
    var router = express.Router();
    var cheerio = require('cheerio');
    var superagent = require('superagent');
    const fs = require("fs");
    
    router.get('/catch', function (req, res, next) {
      // 用 superagent 去抓取 网站 的内容
      superagent.get('http://xuetangzaixian.com/yundong/index_4.html')
        .end(function (err, sres) {
          // 常规的错误处理
          if (err) {
            return next(err);
          }
          // sres.text 里面存储着网页的 html 内容，将它传给 cheerio.load 之后
          // 就可以得到一个实现了 jquery 接口的变量，我们习惯性地将它命名为 `$`
          // 剩下就都是 jquery 的内容了
          var $ = cheerio.load(sres.text);
          var items = [];
          $('.list ul li').each(function (idx, element) {
            var $element = $(element);
            let divimg = $element.find('.img a')
            let href = 'http://xuetangzaixian.com/' +  divimg.attr('href')
            let title =  divimg.attr('title')
            let img = divimg.find('img').attr('src')
            items.push({
              title: title,
              href: href,
              img:img
            });
          });
    
          res.send(items);
            //读取文件 先把它读到缓存，然后加上新爬取的数据，再一并插入到json文件中
          fs.readFile("article.json", 'utf-8', function(err, data) {
            if (err) {
                
            } else {
                let olddata = JSON.parse(data)
                if(olddata.length>0){
                  olddata = olddata.concat(items)
                }else{
                  olddata = items
                }
                fs.writeFile("article.json", JSON.stringify(olddata), "utf-8", (error) => {
                  //监听错误，如正常输出，则打印null
                  if (error == null) {
                      console.log("恭喜您，数据爬取成功!)");
                  }
                });
            }
           });
          
        });
    });
    
    module.exports = router;

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAa3J5c2xpYW5n_size_20_color_FFFFFF_t_70_g_se_x_16 1][]

这里面，你需要注意的是，你要研究你爬取网站 所需要部分内容的格式。

就是一开始你获取到整个网页的内容，然后你把你需要的列表部分的li读取出来，然后遍历获取它的属性，就可以了。具体查看cheerio 官网 [https://cheerio.js.org/][https_cheerio.js.org]，里面有更详细的介绍

[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAa3J5c2xpYW5n_size_20_color_FFFFFF_t_70_g_se_x_16]: /images/20220829/83c1e3bb64ad439398119facffef3520.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAa3J5c2xpYW5n_size_20_color_FFFFFF_t_70_g_se_x_16 1]: /images/20220829/8166af2e75c343b5b6d5af69fa4a24e0.png
[https_cheerio.js.org]: https://cheerio.js.org/

发表评论取消回复

表情：

评论列表（有 0 条评论，133人围观）

还没有评论，来说两句吧...

相关阅读

相关 Mac 使用 n 进行 Node 版本管理

好了, 有了两个版本, 才真正满足了版本管理的条件, 接下来可以只使用命令。的缓存. 为什么需要清除缓存以及缓存都包含哪些内容, 我们来看一下选手。版本了. (?: 如果...

待我称王封你为后i/ 2024年05月24日 03:21/ 0 赞/ 71 阅读

相关如何使用python进行爬虫

要使用 Python 进行网络爬虫，首先需要了解以下几个方面的知识： 1. Python 基础知识。Python 是一种通用的编程语言，因此在学习爬虫之前，你需要先了解 P

短命女/ 2024年03月27日 17:54/ 0 赞/ 50 阅读

相关 node-spider：node实践简单的爬虫

一、理解 1.1、爬虫：网络爬虫也叫做网络机器人，可以代替人们自动地在互联网中进行数据信息的采集与整理。 1.2、Cheerio：Cheerio是nodejs的抓取页面模块

清疚/ 2024年03月26日 13:12/ 0 赞/ 76 阅读

相关如何使用Python进行爬虫开发？

使用Python开发爬虫是非常常见和方便的。以下是一些步骤来使用Python进行爬虫开发： 1. 安装Python：首先，确保你的计算机上安装了Python。你可以从官方网

素颜马尾好姑娘i/ 2024年03月17日 13:39/ 0 赞/ 48 阅读

相关 Node.js 实现简易爬虫

为什么选择利用node来写爬虫呢？就是因为cheerio这个库，全兼容jQuery语法，熟悉的话用起来真真是爽依赖选择 [cheerio][]： Node.js

￡神魔★判官ぃ/ 2022年09月30日 12:52/ 0 赞/ 168 阅读

相关 node中使用superagent、cheerio进行爬虫

想必很多人都有这样的一个幻想，我可不可以啥也不用干，就获得别人的劳动成果呢？比如，我想做一个类似与豆瓣这样的app来练手，但是我有没有数据进行支撑，这时候我就想，能不能把豆瓣上

布满荆棘的人生/ 2022年09月09日 10:58/ 0 赞/ 134 阅读

相关 node.js mysql 批量插入,如何使用node.js在MySQL中进行批量插入

![Image 1][] How would one do a bulk insert into mySQL if using something like https:/

╰半夏微凉°/ 2022年08月29日 14:00/ 0 赞/ 165 阅读

相关 Node.js 使用 JWT 进行用户认证

> 代码地址如下： > [http://www.demodashi.com/demo/13847.html][http_www.demodashi.com_demo_138

红太狼/ 2022年05月11日 04:36/ 0 赞/ 276 阅读

相关 node 爬虫

[爬的电影网站][Link 1] 通过异步请求获取到页面资源后再正则选定爬取，正则.exec(内容),只匹配一次, 返回数组,匹配多次需要循环

我不是女神ヾ/ 2021年07月25日 02:54/ 0 赞/ 327 阅读

相关 node cheerio爬虫图片

cherrio 获取html文档内容,操作和jquery一样 cnpm install cheerio -D 使用 let

本是古典何须时尚/ 2021年07月25日 01:13/ 0 赞/ 380 阅读