【nodeJs】用cheerio写一个爬虫吧

本是古典何须时尚 2022-05-24 12:40 190阅读 0赞

*  爬取Cnode社区的文章
 *  用到的模块：express cheerio superagent
 *  superagent([http://visionmedia.github.io/superagent/][http_visionmedia.github.io_superagent] ) 是个 http 方面的库，可以发起 get 或 post 请求。
 *  cheerio([https://github.com/cheeriojs/cheerio][https_github.com_cheeriojs_cheerio] ) 大家可以理解成一个 Node.js 版的 jquery，用来从网页中以 css selector 取数据，使用方式跟 jquery 一样一样的。
 *  cheerio中文API：[https://blog.csdn.net/ac\_greener/article/details/80469446][https_blog.csdn.net_ac_greener_article_details_80469446]

代码app.js：

var express = require('express');
    var app = express();
    var superagent = require('superagent');
    var cheerio = require('cheerio');
    app.get('/', function (req, res) { 
        superagent.get('https://cnodejs.org/')
            .end(function (err, sres) { 
                if (err) {
                    return err;
                }
                var $ = cheerio.load(sres.text);
                var items = [];
                $('#topic_list .topic_title').each(function (index, element) { 
                    var $element = $(element);
                    items.push({
                        title: $element.attr('title'),
                        href: $element.attr('href')
                    });
                });
    
                res.send(items);
            })
    });
    
    app.listen('3000', function () { 
        console.log('server start at localhost:3000');
    });
    然后执行：node app.js，再去访问localhost：3000就可以看到结果了

![这里写图片描述][70]

[http_visionmedia.github.io_superagent]: http://visionmedia.github.io/superagent/
[https_github.com_cheeriojs_cheerio]: https://github.com/cheeriojs/cheerio
[https_blog.csdn.net_ac_greener_article_details_80469446]: https://blog.csdn.net/ac_greener/article/details/80469446
[70]: /images/20220524/8a738f497023484195bbdf718185ec61.png

发表评论取消回复

表情：

评论列表（有 0 条评论，190人围观）

还没有评论，来说两句吧...

相关阅读

相关用python写一个爬虫

可以使用 Python 的第三方库 `requests` 和 `BeautifulSoup` 来编写一个爬虫。首先，需要安装这两个库，可以使用 `pip` 命令来安装：

女爷i/ 2024年03月27日 12:47/ 0 赞/ 20 阅读

相关用python写一个爬虫代码

好的，这是一个简单的 Python 爬虫代码示例： import requests from bs4 import BeautifulSoup

柔情只为你懂/ 2024年03月25日 14:57/ 0 赞/ 25 阅读

相关 java使用爬虫_如何用Java写一个爬虫

展开全部以下是一个使用java实现的简单爬虫核心代码32313133353236313431303231363533e59b9ee7ad9431333363383966：

今天药忘吃喽~/ 2022年11月06日 13:56/ 0 赞/ 128 阅读

相关用Electron写个带界面的nodejs爬虫

什么是Electron 使用 JavaScript, HTML 和 CSS 构建跨平台的桌面应用 [官网](https://electronjs.org/

刺骨的言语ヽ痛彻心扉/ 2022年05月27日 13:23/ 0 赞/ 331 阅读

相关【NodeJS】爬虫之cheerio抓取网页数据

记录：及其简单的牛客网讨论区爬虫源代码： var express = require('express'); var superagent = requi

ゝ一纸荒年。/ 2022年05月27日 07:14/ 0 赞/ 444 阅读

相关【nodeJs】用cheerio写一个爬虫吧

爬取Cnode社区的文章用到的模块：express cheerio superagent superagent([http://visionmedia.gi

本是古典何须时尚/ 2022年05月24日 12:40/ 0 赞/ 191 阅读

相关【nodeJs】cheerio

cheerio是什么？ cheerio([https://github.com/cheeriojs/cheerio][https_github.com_cheeriojs

╰+攻爆jí腚メ/ 2022年05月24日 12:40/ 0 赞/ 148 阅读

相关【NodeJS】用NodeJs写一个最简单的http服务器

const http = require('http') http.createServer(function(req, res) { r

浅浅的花香味﹌/ 2022年05月10日 02:44/ 0 赞/ 224 阅读

相关 Nodejs爬虫－－cheerio

cheerio解析html, 通读cheerio API: 参考文档：http://cnodejs.org/topic/5203a71844e76d216a727d2e [通

﹏ヽ暗。殇╰゛Y/ 2021年10月09日 04:06/ 0 赞/ 215 阅读

相关 node cheerio爬虫图片

cherrio 获取html文档内容,操作和jquery一样 cnpm install cheerio -D 使用 let

本是古典何须时尚/ 2021年07月25日 01:13/ 0 赞/ 325 阅读