【NodeJS】爬虫之使用 eventproxy 控制并发

旧城等待， 2022-05-24 12:09 69阅读 0赞

eventproxy 帮你管理到底这些异步操作是否完成

源代码：

var eventproxy = require('eventproxy');
    var superagent = require('superagent');
    var cheerio = require('cheerio');
    var url = require('url');
    
    var cnodeUrl = 'https://cnodejs.org/';
    
    superagent.get(cnodeUrl)
      .end(function (err, res) { 
        if (err) {
          return console.error(err);
        }
        var topicUrls = [];
        var $ = cheerio.load(res.text);
        $('#topic_list .topic_title').each(function (idx, element) { 
          var $element = $(element);
          var href = url.resolve(cnodeUrl, $element.attr('href'));
          topicUrls.push(href);
        });
    
        var ep = new eventproxy();
    
        ep.after('topic_html', topicUrls.length, function (topics) { 
          topics = topics.map(function (topicPair) { 
            var topicUrl = topicPair[0];
            var topicHtml = topicPair[1];
            var $ = cheerio.load(topicHtml);
            return ({
              title: $('.topic_full_title').text().trim(),
              href: topicUrl,
              comment1: $('.reply_content').eq(0).text().trim(),
            });
          });
    
          console.log('final:');
          console.log(topics);
        });
    
        topicUrls.forEach(function (topicUrl) { 
          superagent.get(topicUrl)
            .end(function (err, res) { 
              console.log('fetch ' + topicUrl + ' successful');
              ep.emit('topic_html', [topicUrl, res.text]);
            });
        });
      });

效果演示图：  
![这里写图片描述][70]

[70]: /images/20220524/7ddb1d60a514441baa3e46cf4a8e5251.png

发表评论取消回复

表情：

评论列表（有 0 条评论，69人围观）

还没有评论，来说两句吧...

相关阅读

相关理解并发控制：Java的synchronized关键字使用示例

并发控制是编程中的一个重要概念，尤其是在多线程环境下。Java提供了synchronized关键字来实现对共享资源的并发控制。 synchronized关键字主要有以下两种用

た入场券/ 2024年09月12日 07:33/ 0 赞/ 31 阅读

相关线程协作工具类：控制并发流程

1 什么是控制并发流程？ > 控制并发流程的工具类，作用就是帮助我们程序员更容易的让线程之间合作 > 让线程之间相互配合，来满足业务逻辑 > 比如让线程

女爷i/ 2023年07月02日 12:24/ 0 赞/ 26 阅读

相关控制并发阶段性任务的改变

控制并发阶段性任务的改变 Phaser 类提供每次phaser改变阶段都会执行的方法。它是 onAdvance() 方法。它接收2个参数：当前阶段数和注册的参与者数；它返

快来打我*/ 2022年09月23日 10:51/ 0 赞/ 110 阅读

相关【NodeJS】爬虫之使用 eventproxy 控制并发

eventproxy 帮你管理到底这些异步操作是否完成源代码： var eventproxy = require('eventproxy'); var s

旧城等待，/ 2022年05月24日 12:09/ 0 赞/ 70 阅读

相关 nodeJs 爬虫

1、既然用nodejs写爬虫，第一个肯定是要安装nodejs啦，还有，既然你都看我的文章啦，说明你已经安装nodejs啦。 2、安装需要的模块：request、cheerio

约定不等于承诺〃/ 2022年04月15日 05:16/ 0 赞/ 218 阅读

相关 Java控制并发之——volatile关键字

控制并发的三大要素：可见性、原子性、有序性。那么volatile就是控制元素的可见性下面介绍线程读取量变的过程 ![在这里插入图片描述][watermark_type

痛定思痛。/ 2022年04月10日 04:26/ 0 赞/ 212 阅读

相关 Semaphore Java控制并发

前有CountDownLatch模拟并发[https://blog.csdn.net/weixin\_38336658/article/details/81624539][ht

川长思鸟来/ 2022年04月05日 09:50/ 0 赞/ 240 阅读

相关 go 通过 channel 控制并发任务

package main import "fmt" func main() { workChan := m

╰+攻爆jí腚メ/ 2021年12月20日 06:25/ 0 赞/ 170 阅读

相关 Nodejs爬虫－－cheerio

cheerio解析html, 通读cheerio API: 参考文档：http://cnodejs.org/topic/5203a71844e76d216a727d2e [通

﹏ヽ暗。殇╰゛Y/ 2021年10月09日 04:06/ 0 赞/ 244 阅读

相关 python3 异步 semaphore 信号量控制并发

使用代码如下 from aiohttp import ClientSession import asyncio 限制协程并发量

布满荆棘的人生/ 2021年08月30日 20:37/ 0 赞/ 385 阅读