nodejs-promise实现深度爬虫

冷不防 2022-05-27 13:06 146阅读 0赞

> 代码来源慕课网

const http = require('http');
    const cheerio = require('cheerio');
    const Promise = require('bluebird')
    let url = 'http://www.imooc.com/learn/348'
    let baseUrl = 'http://www.imooc.com/learn/'
    let videoIds = [348,259,197,134,75]
    
    function filterChapters(html) { 
        let $ = cheerio.load(html)
        let chapters = $('.chapter')
        let title = $('#page_header .path span').text()
        let number = parseInt($($('.info_num_ i')[0]).text().trim(),10)
        let courseData = {
            title:title,
            number:number,
            videos:[]
        };
    
        chapters.each(function (item) { 
            let chapter = $(this)
            let chapterTitle = chapter.find('h3').text();
            let videos = chapter.find('ul').children('li')
            let chapterData = {
                chapterTitle:chapterTitle,
                videos:[]
            }
            videos.each(function (item) { 
                let video = $(this).find('.J-media-item')
                let videoTitle = video.text().trim();
                let id = video.attr('href').split('video/')[1]
                chapterData.videos.push({
                    title: videoTitle,
                    id: id
                })
            })
            courseData.videos.push(chapterData)
        })
        return courseData;
    }
    
    function printCourseInfo(coursesData) { 
        coursesData.forEach(function (courseData) { 
            console.log(courseData.number + '人学过' + courseData.titel
            +'\n')
        })
        coursesData.videos.forEach(function (courseData) { 
            console.log('###'+courseData.title+'\n')
            courseData.forEach(function (item) { 
                let chapterTitle = item.chapterTitle
                console.log(chapterTitle + '\n')
                item.videos.forEach(function (video) { 
                    console.log(' 【'+video.id+'】' + video.title + '\n')
                })
            })
        })
    }
    
    function getPageAsync(url) { 
        return new Promise(function (resolve,reject) { 
            console.log('正在爬去')
            http.get(url,function (res) { 
                let html = ''
                res.on('data',function (data) { 
                    html += data;
                })
                res.on('end',function () { 
                    resolve(html)
                })
            }).on('error',function (e) { 
                reject(e)
                console.log('获取课程数据出错')
            })
        })
    }
    
    let fetchCourseArray = []
    
    videoIds.forEach(function (id) { 
        fetchCourseArray.push(getPageAsync(baseUrl + id))
    })
    
    Promise
        .all(fetchCourseArray)
        .then(function (pages) { 
            let coursesData = []
            pages.forEach(function (html) { 
                let courses = filterChapters(html)
                coursesData.push(courses)
            })
            coursesData.sort(function (a,b) { 
                return a.number < b.number
            })
            printCourseInfo(coursesData)
        })

发表评论取消回复

表情：

评论列表（有 0 条评论，146人围观）

还没有评论，来说两句吧...

相关阅读

相关 Redis实现分布式爬虫

redis分布式爬虫概念：多台机器上可以执行同一个爬虫程序,实现网站数据的爬取原生的scrapy是不可以实现分布式爬虫, 原因如下：调度器无法共享

客官°小女子只卖身不卖艺/ 2023年08月17日 16:21/ 0 赞/ 94 阅读

相关 java实现网络爬虫

网络蜘蛛即Web Spider，是一个很形象的名字。把互联网比喻成一个蜘蛛网，那么Spider就是在网上爬来爬去的蜘蛛。网络蜘蛛是通过网页的链接地址来寻找网页，从网站某一个

一时失言乱红尘/ 2022年07月16日 12:24/ 0 赞/ 151 阅读

相关 .NET实现网络爬虫

爬虫的特征和运行方式 User-Agent：主要用来将我们的爬虫伪装成浏览器。 Cookie：主要用来保存爬虫的登录状态。连接数：主要用来限制单台机器与服务端的连接

古城微笑少年丶/ 2022年05月31日 06:43/ 0 赞/ 284 阅读

相关 nodejs-promise实现深度爬虫

> 代码来源慕课网 const http = require('http'); const cheerio = require('cheerio');

冷不防/ 2022年05月27日 13:06/ 0 赞/ 147 阅读

相关 Java实现简单爬虫

爬虫爬虫可以理解为一个`从第三方网站获取其数据`的技术。关于爬虫语言博主是只是对Java有一定浅显的见解，对于很多语言不敢造次。在这里说一下关于爬虫常

不念不忘少年蓝@/ 2022年05月17日 09:52/ 0 赞/ 199 阅读

相关 Java 爬虫实现

爬虫的基本思路如下：根据URl获取相应页面的html代码利用正则匹配或者Jsoup等库解析html代码，提取需要的内容将获取的内容持久化到数据库中处理好中文字符

系统管理员/ 2022年05月13日 23:37/ 0 赞/ 132 阅读

相关 JAVA 实现网络爬虫

JAVA网络爬虫 [https://tieba.baidu.com/p/2256306796?red\_tag=1781367364][https_tieba.baidu

清疚/ 2022年04月12日 05:51/ 0 赞/ 181 阅读

相关 python实现简单爬虫

第一步准备环境 1.1安装selenium cmd窗口进入到解压的selenium的目录输入命令 python [setup.py][] install 进行安

向右看齐/ 2022年03月20日 11:43/ 0 赞/ 282 阅读

相关 python爬虫 scrapy爬虫实现间隔时间后再次重新执行爬虫 scrapy爬虫实现间隔时间段后再次执行...

实现思想用python 定时执行命令调用爬虫参考 python实现scrapy定时执行爬虫 https://blog.csdn.net/vivian\_ll/artic

刺骨的言语ヽ痛彻心扉/ 2021年11月13日 15:44/ 0 赞/ 426 阅读

相关 02.爬虫基础知识与简易爬虫实现

\CSS \\基础语法 CSS规则：选择器，以及一条或多条声明。 selector {declaration1; ...; desclar

我不是女神ヾ/ 2021年10月06日 15:12/ 0 赞/ 301 阅读