nodejs 小爬虫（一）

我就是我 2022-06-02 06:47 187阅读 0赞

这个简单的示例是原理是：

用node.js  的  get 请求某个网站，然后拿出网站的所有代码，再进行筛选出有用的信息

1、首先来创建一个 http 服务，然后用http.get方法去请求地址拿到信息

var http = require('http');
    var url  = 'http://www.imooc.com/learn/348';
    
    http.get( url , function(res){
        var html = '';
    
        res.on('data', function(data){   //监听 data 事件 ， 这个时候爬的是整个的html代码;
            html += data;
        })
    
        res.on('end', function(res){
            console.log(html);   //http跑完后打印出来  
            var courseData = filterChapters(html);  //筛选变成 json
            printCourseInfo(courseData);    //打印出来
        })
    }).on('error', function(){
        console.log('获取失败');
    })

拿到整个代码后，来进行筛选，用 cheerio 模块可以更好的操作，它可以把拿到的代码像 query 库一样操作，方便筛选

npm install cheerio

下载下来后，把它 require 进来，方法写在 http.get 前面

var cheerio = require('cheerio');
    function filterChapters(html){
        var $ = cheerio.load(html);  //拿到html 内容，然后就可以用 $('.xx') 来获取元素一样操作
        var chapter = $(".chapter");
        /*
            把有用的数据筛选成这个的结构
        [{
            chapterTitle : '', //标题
            videos : [
                id : '',
                title : '',
            ]
        }]
        */
           // 像 query选择器一样把它给筛选出来
        var courseData = [];
            chapter.each(function(item){
                var chapter = $(this);
                var chapterTitle = chapter.find('strong').text();
                var videos = chapter.find('.video').children('li');
    
                var list = {
                        chapterTitle : chapterTitle,
                        videos : [],
                    }
                    videos.each(function(item){
                        var video = $(this).find('.J-media-item');
                        var videoTitle = video.text();
                        var id = video.attr('href').split('/video')[1];
                            list.videos.push({
                                id : id,
                                title : videoTitle,
                            })
                    })
    
                    courseData.push(list);
            })
    
            return courseData;
    }

然后把它给打印出来看

function printCourseInfo(courseData){
    	courseData.forEach(function(item){
    		var title = item.chapterTitle;
    		var videos = item.videos;
    			console.log(title + '\n'); //标题
    
    			videos.forEach(function(video){
    				console.log('【'+video.id+'】' + video.title + '\n');  //内容
    			})
    
    
    	})
    }

发表评论取消回复

表情：

评论列表（有 0 条评论，187人围观）

还没有评论，来说两句吧...

相关阅读

相关 nodejs（一）

1、安装nodejs，这里不介绍了，网上一堆类似文档。我是windows系统中使用nodejs，所以简单的下载 node-v0.10.26-x64.msi文件，并双击完成安装

柔情只为你懂/ 2022年07月26日 01:43/ 0 赞/ 205 阅读

相关 nodejs 小爬虫（二）

上一篇是对单一页面的数据，所以只能爬到单一的数据，因为不同的 ID 请求出不同的数据，所以把小爬虫完善一下该例子是拿幕课网中的某个页面来进行测试这个时候就用到一个

左手的ㄟ右手/ 2022年06月02日 06:48/ 0 赞/ 194 阅读

相关 nodejs 小爬虫（一）

这个简单的示例是原理是：用node.js 的 get 请求某个网站，然后拿出网站的所有代码，再进行筛选出有用的信息 1、首先来创建一个 http 服务，然后用http

我就是我/ 2022年06月02日 06:47/ 0 赞/ 188 阅读

相关 nodejs实现拉钩网爬虫

概述通过nodejs+mysql+cheerio+request实现拉钩网特定公司的所有招聘信息的抓取，并将抓取的信息保存到数据库中。抓取内容包括：薪酬福利，工作地，职

灰太狼/ 2022年05月31日 08:21/ 0 赞/ 236 阅读

相关 nodejs-promise实现深度爬虫

> 代码来源慕课网 const http = require('http'); const cheerio = require('cheerio');

冷不防/ 2022年05月27日 13:06/ 0 赞/ 192 阅读

相关基于nodejs的网络图片爬虫

这是我研究nodejs爬虫后写的一个图片爬虫小例子。不过功能还是挺强大的可以将你喜欢的图片下载下来。主要的爬虫代码： //var http = require(

左手的ㄟ右手/ 2022年05月25日 22:48/ 0 赞/ 216 阅读

相关【nodeJs】小任务2

任务：当在浏览器中访问 [http://localhost:3000/?q=alsotang][http_localhost_3000_q_alsotang] 时，输出 als

超、凢脫俗/ 2022年05月24日 11:45/ 0 赞/ 158 阅读

相关 nodeJs 爬虫

1、既然用nodejs写爬虫，第一个肯定是要安装nodejs啦，还有，既然你都看我的文章啦，说明你已经安装nodejs啦。 2、安装需要的模块：request、cheerio

约定不等于承诺〃/ 2022年04月15日 05:16/ 0 赞/ 255 阅读

相关 nodejs制作小爬虫

1，安装nodejs 2，安装需要模块 npm install request cheerio 3，新建js文件 4，引入 const reques

待我称王封你为后i/ 2022年03月19日 11:28/ 0 赞/ 256 阅读

相关 Nodejs爬虫－－cheerio

cheerio解析html, 通读cheerio API: 参考文档：http://cnodejs.org/topic/5203a71844e76d216a727d2e [通

﹏ヽ暗。殇╰゛Y/ 2021年10月09日 04:06/ 0 赞/ 290 阅读