【NodeJS】爬虫之cheerio抓取网页数据

ゝ一纸荒年。 2022-05-27 07:14 441阅读 0赞

记录：及其简单的牛客网讨论区爬虫

源代码：

var express = require('express');
    var superagent = require('superagent');
    var cheerio = require('cheerio');
    var url = require('url');
    var router = express();
    
    var cnodeUrl = 'https://www.nowcoder.com/discuss';
    router.get('/', function(req, res, next) { 
        // 用 superagent 去抓取 https://www.nowcoder.com/discuss 的内容
        superagent.get(cnodeUrl).end(function(err, sres){ 
            // 常规的错误处理
            if(err){
                return next(err);
            }
            // sres.text 里面存储着网页的 html 内容
            var $ = cheerio.load(sres.text);
            var items = [];
            $('.discuss-main').each(function(idx, element){ 
                var $element = $(element);
                items.push({
                    title: $element.find('a').text(),
                    href: $element.find('a').attr('href'),
                    link: url.resolve(cnodeUrl, $element.find('a').attr('href'))
                });
            });
            res.send(items);
        })
    });

目标结构：  
![这里写图片描述][70]  
效果展示：  
![这里写图片描述][70 1]

[70]: /images/20220527/6d1ca00a9a244596ab5f2820f6780fc1.png
[70 1]: /images/20220527/5b6492b2acd542e4a9a1c7dc0c3a0922.png

发表评论取消回复

表情：

评论列表（有 0 条评论，441人围观）

还没有评论，来说两句吧...

相关阅读

相关动态网页数据抓取

动态网页数据抓取一、网页 1.传统网页：如果需要更新内容，则需要重新加载网页。 2.动态网页：使用AJAX则不需要加载更新整个网页，实现部分内容更新。

心已赠人/ 2023年06月13日 09:29/ 0 赞/ 90 阅读

相关 java爬虫抓取简单网页数据_简单的java爬虫抓取网页实现代码

import java.io.IOException; import java.util.LinkedList; import java.util.List; impor

忘是亡心i/ 2022年11月09日 12:49/ 0 赞/ 238 阅读

相关网页抓取：PHP实现网页爬虫方式小结

来源：[http://www.ido321.com/1158.html][http_www.ido321.com_1158.html] [![Center][]][

柔情只为你懂/ 2022年08月13日 17:37/ 0 赞/ 218 阅读

相关网络爬虫之网页抓取

说到网页抓取，往往有两个点是不得不说的，首先是网页编码的识别，另外一个是对网页脚本运行的支持，除此之外，是否支持以POST方式提交请求和支持自动的cookie管理也是很多人所关

逃离我推掉我的手/ 2022年06月09日 11:49/ 0 赞/ 223 阅读

相关 java抓取网页数据，登录之后抓取数据。

非常感谢https://www.cnblogs.com/puqiuxiaomao/p/4037918.html 网络爬虫技术学习，更多知识请访问[https://www.it

电玩女神/ 2022年06月01日 06:27/ 0 赞/ 305 阅读

相关【NodeJS】爬虫之cheerio抓取网页数据

记录：及其简单的牛客网讨论区爬虫源代码： var express = require('express'); var superagent = requi

ゝ一纸荒年。/ 2022年05月27日 07:14/ 0 赞/ 442 阅读

相关【nodeJs】用cheerio写一个爬虫吧

爬取Cnode社区的文章用到的模块：express cheerio superagent superagent([http://visionmedia.gi

本是古典何须时尚/ 2022年05月24日 12:40/ 0 赞/ 188 阅读

相关【nodeJs】cheerio

cheerio是什么？ cheerio([https://github.com/cheeriojs/cheerio][https_github.com_cheeriojs

╰+攻爆jí腚メ/ 2022年05月24日 12:40/ 0 赞/ 146 阅读

相关 Nodejs爬虫－－cheerio

cheerio解析html, 通读cheerio API: 参考文档：http://cnodejs.org/topic/5203a71844e76d216a727d2e [通

﹏ヽ暗。殇╰゛Y/ 2021年10月09日 04:06/ 0 赞/ 210 阅读

相关 node cheerio爬虫图片

cherrio 获取html文档内容,操作和jquery一样 cnpm install cheerio -D 使用 let

本是古典何须时尚/ 2021年07月25日 01:13/ 0 赞/ 323 阅读