nodejs爬虫----爬取煎蛋网美女图片

￡神魔★判官ぃ 2022-07-13 12:20 256阅读 0赞

这是一个很简单的爬虫，主要是爬取简单妹子图  
![这里写图片描述][SouthEast]

### 不跟你多BB，马上上车…, ###

你需要先安装好nodejs，npm,最好能有淘宝镜像cnpm

负责响应网络请求的request模块

npm install request

负责对抓取的数据进行处理的cheerio

npm install cheerio

负责下载图片的fs模块

npm install fs

负责格式化图片名称的模块path

npm install path

负责处理异步并发的模块async

npm install  async

先看总体效果  
![这里写图片描述][SouthEast 1]

![这里写图片描述][SouthEast 2]

var request = require('request');
    var cheerio = require('cheerio');
    var path = require('path');
    var fs = require('fs');
    var async = require('async');
    
    var options = [];  //用于存储网址链接的数组
    var n=0;
    
    
    //先生称图片地址链接的数组
    for (var i = 1319; i <1329; i++) {
        var obj = {
            url: 'http://jandan.net/ooxx/page-' + i,
            headers:{
                'User-Agent': 'request'
            }
        }
        options.push(obj);
    }
    
    
    //用来处理这个调用逻辑的总函数
    function all(err, res, body) { 
        var $ = cheerio.load(body);
        n=n+$(".commentlist img").length;
        console.log(n);
        $(".commentlist img").each(function (i, ele) { 
            var imgsrc = 'http:' + $(this).attr('src');
            var fileName = FileName(imgsrc.toString());
            //下载文件操作
            downloadImg(imgsrc, fileName, function () { 
                console.log(fileName + 'upload 完成');
            });
        })
    }
    //格式化图片名称
    function FileName(url) { 
        var fileName = path.basename(url);
        return fileName;
    }
    //利用fs模块download图片
    function downloadImg(url, filename, callback) { 
        var stream = fs.createWriteStream('images/' + filename);
        request(url).on('error',function(){ 
            console.log('done no');
        }).pipe(stream).on('close', callback);
    }
    
    
    
    //利用async的mapLimit方法实现限定并发数为3的调用
    async.mapLimit(options,3, function (option, callback) { 
        request(option, all);
        callback(null);
    }, function (err, result) { 
        if (err) {
            console.log(err);
        } else {
            // console.log(result);
            console.log('全部检索完毕');
        }
    })

[SouthEast]: /images/20220713/b82e2fa91b12400980963e2dfa17e19a.png
[SouthEast 1]: /images/20220713/f24e5e35e4d44aeaae23f7081217abd7.png
[SouthEast 2]: /images/20220713/2f2394723e6b4efdac6786258f38ab16.png

发表评论取消回复

表情：

评论列表（有 0 条评论，256人围观）

还没有评论，来说两句吧...

相关阅读

相关【Python爬虫】花瓣网爬取美女图片

代码1 /usr/bin/env python coding:utf-8 import json import urllib.r

╰+攻爆jí腚メ/ 2022年12月21日 06:04/ 0 赞/ 278 阅读

相关如何用爬虫爬取4K美女图片

一、首先先加载必要的库 -- coding: UTF-8 -- import requests from random import choic

柔情只为你懂/ 2022年11月03日 05:28/ 0 赞/ 242 阅读

相关 java爬取美女图片

java爬取美女图片 1. 爬取概述 2. 实现验证 HttpClientUtils PipelineImage Re

墨蓝/ 2022年09月11日 00:03/ 0 赞/ 250 阅读

相关 nodejs爬虫----爬取煎蛋网美女图片

这是一个很简单的爬虫，主要是爬取简单妹子图 ![这里写图片描述][SouthEast] 不跟你多BB，马上上车…, 你需要先安装好nodejs，npm,最好能有淘宝

￡神魔★判官ぃ/ 2022年07月13日 12:20/ 0 赞/ 257 阅读

相关 Python爬虫实战(四) :下载煎蛋网所有妹子照片

煎蛋网是一个适合开车的网站，各种妹子福利图片。网站:http://jandan.net/ooxx 里面有两种格式的图片:gif和jpg，写个程序将所有页面的妹子图全部下载

水深无声/ 2022年06月09日 11:22/ 0 赞/ 202 阅读

相关爬取美女图片(python源码)

使用requests库 + 网页分析 import requests 爬取美女图片 url = "http://m.mm131.com/xingg

素颜马尾好姑娘i/ 2022年06月06日 00:27/ 0 赞/ 271 阅读

相关手把手教你用Python爬虫煎蛋妹纸海量图片

我们的目标是用爬虫来干一件略污事情最近听说煎蛋上有好多可爱的妹子，而且爬虫从妹子图抓起练手最好，毕竟动力大嘛。而且现在网络上的妹子很黄很暴力，一下接受太多容

刺骨的言语ヽ痛彻心扉/ 2022年06月04日 00:20/ 0 赞/ 254 阅读

相关使用Python爬虫爬取网络美女图片

> 代码地址如下： > [http://www.demodashi.com/demo/13500.html][http_www.demodashi.com_demo_135

忘是亡心i/ 2022年05月11日 01:48/ 0 赞/ 300 阅读

相关 python爬虫利用requests和BeautifulSoup爬取美女图片

今天给大家分享一篇利用python爬取美女图片的文章环境准备开发环境：Windows 7 开发工具：Pycharm python版本：python3.7 第三

迈不过友情╰/ 2022年01月25日 16:31/ 0 赞/ 332 阅读

相关 python爬虫爬取彼岸图网图片

python爬虫爬取彼岸图网图片话不多说，直接上代码！ import requests from PIL import Image from

超、凢脫俗/ 2021年07月26日 16:43/ 0 赞/ 633 阅读