node 爬虫实战 - 爬取拉勾网职位数据

妖狐艹你老母 2022-04-11 13:22 376阅读 0赞

node 爬虫 实战 - 爬取拉勾网职位数据，主要想把数据用于大数据学习，到时候大数据分析可以自己分析一下职位的情况，和比较一些我现在的职位在深圳乃至全国的开发人员水平。

涉及到的技术栈：node.js ，mongoDB , express

源码下载：[https://gitee.com/draven\_lee/node-spider][https_gitee.com_draven_lee_node-spider] ，如果有帮助到你，不需要打赏，欢迎给star。

这个爬虫功能有点简单，仅供学习参考。

1.  爬取lagou.com首页的menu菜单的url，并且把menu的前30页url保存进去爬虫队列中，之后沿着队列的url，把需要的数据提取出来。
2.  爬取的过程中，发现，如果太频繁的和没有用户的登录态，会被和谐到其他页面去，应该是拉勾网做了防爬虫机制，所以我把爬取的速度放慢，加上模拟的登录态，可以成功爬取到数据。不过按照这个爬取有点慢的速度，我爬了四天四夜，爬了10W+条职位数据。

废话不说，先上代码。

var express = require('express');
    var MongoClient = require('mongodb').MongoClient;
    const request = require('superagent');
    var url = "mongodb://localhost:27017/draven";
    var router = express.Router();
    var cheerio = require('cheerio');
    var Crawler = require("crawler");
    
    
    //爬取 数据
    router.get('/crawlData', function(req, res, next) {
    
    
        var url = "mongodb://localhost:27017/draven";
        var menuList = [];
        var urlList = []
        var location = '深圳';
    
        MongoClient.connect(url, function(err, db) {
            if (err) throw err;
            var dbo = db.db("draven");
    
    
            var c = new Crawler({
                preRequest: function(options, done) {
                    // 'options' here is not the 'options' you pass to 'c.queue', instead, it's the options that is going to be passed to 'request' module
                    console.log(options.uri);
                    // when done is called, the request will start
                    done();
                },
                jQuery: true,       //是否用 cheerio 的jQuery语法
                rateLimit:25000,    //爬取速度 25秒 爬一次
                maxConnections : 1, //最大爬取并发量 1
                headers:{           //模拟真实用户浏览器状态
                    'Cookie':'index_location_city='+encodeURI(location)+'user_trace_token=20181127172617-5d56fc60-618b-4486-9762-21efad3c49df; JSESSIONID=ABAAABAAAFCAAEG70DFEA8B139FF80287ABDF2F4C137946; showExpriedIndex=1; showExpriedCompanyHome=1; showExpriedMyPublish=1; index_location_city=%E6%B7%B1%E5%9C%B3; _ga=GA1.2.405959562.1543310779; _gid=GA1.2.577762828.1543310779; Hm_lvt_4233e74dff0ae5bd0a3d81c6ccf756e6=1543310402,1543310779; LGSID=20181127172618-7ef404ed-f226-11e8-80e4-525400f775ce; PRE_UTM=; PRE_HOST=; PRE_SITE=; PRE_LAND=https%3A%2F%2Fwww.lagou.com%2F; LGUID=20181127172618-7ef406c2-f226-11e8-80e4-525400f775ce; _gat=1; TG-TRACK-CODE=index_navigation; SEARCH_ID=88db5c7fa2464090a6dd7041f35074ba; X_HTTP_TOKEN=492369107a1a20441020ab9b771f2f6d; sensorsdata2015jssdkcross=%7B%22distinct_id%22%3A%221675489482d244-0f3ef5ad6aef94-4313362-2073600-1675489482e36f%22%2C%22%24device_id%22%3A%221675489482d244-0f3ef5ad6aef94-4313362-2073600-1675489482e36f%22%7D; sajssdk_2015_cross_new_user=1; ab_test_random_num=0; _putrc=69D503B669D896FC123F89F2B170EADC; login=true; hasDeliver=0; gate_login_token=33f3414d87f12e09e089b3b6daf10134f0a5ebf49fad63dfd9b8bc4e3a4f162b; unick=hello; LGRID=20181127174101-8d501f2b-f228-11e8-8c21-5254005c3644; Hm_lpvt_4233e74dff0ae5bd0a3d81c6ccf756e6=1543311662',
                    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.102 Safari/537.36',
                },
                callback : function (error, res, done) {
                    if(error){
                        console.log(error);
                        done();
                    }else{
                        var $ = res.$;
    
                        var jobList = []
                        console.log($('title').text())
                        $('.con_list_item').each(function (idx, item) {
                            var $item = $(item);
                            jobList.push({
                                name: $item.find('.position_link').find('h3').text(),
                                address: $item.find('.add').find('em').text(),
                                company: $item.find('.company_name').find('a').text(),
                                companyLink: $item.find('a').attr('href'),
                                companyImg: $item.find('.com_logo').find('img').attr('src'),
                                money: $item.find('.money').text(),
                                label:$item.find('.list_item_bot').find('span').text(),
                                welfare:$item.find('.li_b_r').text()
                            });
                        });
                        try {
    
                            console.log('c.queueSize',c.queueSize);
                            console.log('jobList',jobList.length)
                            if(jobList.length > 0 ){
                                //保存到数据库中
                                dbo.collection("job").insertMany(jobList, function(err, res) {
                                    if (err) throw err;
                                    console.log('job 数据导入成功!');
                                    // db.close();
    
                                })
                            }
                            done();
                        }catch(e){
                            console.log(e);
                            done();
                        }
                    }
                }
            });
    
            //爬取首页的menu的数据
            c.queue([
                {
                uri: 'https://www.lagou.com/',
                headers:{
                    'Set-Cookie':'index_location_city='+encodeURI(location),
                    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.102 Safari/537.36',
                    'JSESSIONID':'ABAAABAAAGFABEFC5E29AF672C4DAF0B10AEE494D83FD62',
                    'login':true
                },
                // The global callback won't be called
                callback: function (error, res, done) {
                    if(error){
                        console.log(error);
                    }else{
                        var $ = res.$;
                        $('.menu_sub a').each(function (idx, element) {
                            var $element = $(element);
                            menuList.push({
                                name: $element.text(),
                                tjId: $element.attr('data-lg-tj-id'),
                                // tjIdName:changeName($element.attr('data-lg-tj-id')),
                                tjNo:$element.attr('data-lg-tj-no'),
                                tjCid:$element.attr('data-lg-tj-cid'),
                                link:$element.attr('href'),
                            });
                            //组装menu前30页的url 
                            for(var i = 1 ;i<=30 ;i++){
                                urlList.push($element.attr('href')+i+'/');
                            }
    
                        });
                        //把首页爬取的menu URL数据加入到需要爬取的队列中
                        c.queue(urlList);
                        console.log(urlList,urlList.length)
                        console.log('menuList 共',menuList.length ,'条数据');
                        dbo.collection("menu").insertMany(menuList, function(err, res) {
                            if (err) throw err;
                            console.log('数据导入成功!');
                            // db.close();
                        })
                    }
                    done();
                }
            }])
            res.render('craw');
        });
    });
    
    
    
    module.exports = router;

[https_gitee.com_draven_lee_node-spider]: https://gitee.com/draven_lee/node-spider

发表评论取消回复

表情：

评论列表（有 0 条评论，376人围观）

还没有评论，来说两句吧...

相关阅读

相关爬虫--拉勾网

1、分析整个网页　　首先需要获取到cookies，因为它是动态的，所以每隔一段时间都需要进行重新的获取 2、发送请求　　当你获取到指定时间段的cookie之后，下一步

男娘i/ 2023年08月17日 16:34/ 0 赞/ 132 阅读

相关 python爬取招聘网站：拉勾网

前言本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理。作者：TM0831 PS：如有需要Pyth

绝地灬酷狼/ 2023年02月24日 11:29/ 0 赞/ 47 阅读

相关 Python 爬虫抓取拉勾网职位数据，并存入MySQL数据库

有了技术要经常拿出来用用，不用的话，就会手生。技术的能力就是在学用，学用，学用中慢慢提高的。利用闲暇时间写了一个抓取拉勾网数据的爬虫，闲话不多说直接进入正题。我的开发环

Myth丶恋晨/ 2022年05月23日 07:24/ 0 赞/ 299 阅读

相关 Request爬取拉勾网信息

首先，拉勾网是一个典型的难以爬取信息的网站。是因为此网站包含robot协议，获取爬取请求做限制。导致无法顺利爬虫。另外，职位信息是Ajax文件加载进来的，单纯了通过源码获

叁歲伎倆/ 2022年05月16日 02:40/ 0 赞/ 338 阅读

相关拉勾网Python岗位爬取

具体流程都在我写的注释中,完整代码如下: import time from selenium import webdriver

妖狐艹你老母/ 2022年05月13日 09:10/ 0 赞/ 478 阅读

相关 python3 爬虫与反爬虫的斗智斗勇——2018年拉勾网的职位信息爬取

1.项目概述: 从开始的想法到今天爬取并永久化存储的数据，从一开始爬网页html的文本信息到今天爬取Ajax（网络异步信息），参考了许多前辈的经验，网站是不断变化的，可能你

水深无声/ 2022年05月09日 21:04/ 0 赞/ 283 阅读

相关 node 爬虫实战 - 爬取拉勾网职位数据

node 爬虫实战 - 爬取拉勾网职位数据，主要想把数据用于大数据学习，到时候大数据分析可以自己分析一下职位的情况，和比较一些我现在的职位在深圳乃至全国的开发人员水平。涉

妖狐艹你老母/ 2022年04月11日 13:22/ 0 赞/ 377 阅读

相关 selenium爬取拉勾网职位信息

前倾概要拉勾网的反爬虫做可以说非常好。。。。。用一些常规的反反爬虫方法拿不到数据。然后这次就利用selenium模仿用户行为去获取数据。源码 impo

r囧r小猫/ 2022年03月22日 13:50/ 0 赞/ 378 阅读

相关 Selenium模拟浏览器爬取拉勾网职位信息

今天想通过requests库来爬取拉钩网的岗位信息，但通过分析网站发现他的岗位信息都是通过向Ajax请求来获得的，也就是说返回来的网页源代码没有这部分信息，那requests库

r囧r小猫/ 2021年12月08日 22:09/ 0 赞/ 417 阅读

相关 python爬虫爬取拉勾网招聘信息

python爬虫爬取拉勾网招聘信息话不多说，直接上代码！ import math import random import requests

叁歲伎倆/ 2021年07月26日 12:55/ 0 赞/ 744 阅读