nodeJs 爬虫

约定不等于承诺〃 2022-04-15 05:16 252阅读 0赞

1、既然用nodejs写爬虫，第一个肯定是要安装nodejs啦，还有，既然你都看我的文章啦，说明你已经安装nodejs啦。

2、安装需要的模块：request、cheerio，如果用promise写的话，还要安装一个bluebird模块

3、我们爬虫的页面如下：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dhbmd3ZWlzY3Nkbg_size_16_color_FFFFFF_t_70][]

4、第一种方法代码如下：

// require 需要的模块，可以去npm和github看文档
    var request = require('request'); 
    const cheerio = require('cheerio')
    const baseUrl = "https://blog.csdn.net/wangweiscsdn/article/list/";// 这个链接有没有觉得眼熟，嘿嘿
    
    // 这个主要获取文章标题
    function startReq(url) {
        request(url, function (error, response, body) {
            const $ = cheerio.load(body); // 这里可以获取当前url的页面的html
            const data = $('h4 > a');
            data.map((k) => {
                const title = data[k].children[0].next.next.data;
                // console.log('data[k]------------->', data[k].children[0].next.next);
                console.log(title);
            })
        });
    }
    
    for (let i = 1; i < 10; i++) {
        const url = baseUrl + i;
        startReq(url);
    }

5、第二种用了promise方式代码如下：

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dhbmd3ZWlzY3Nkbg_size_16_color_FFFFFF_t_70]: /images/20220415/d0a41fc956924c3bbdf1512ee7cfb0bb.png