node：爬虫爬取网页图片

素颜马尾好姑娘i 2022-05-11 04:36 335阅读 0赞

> 代码地址如下：  
> [http://www.demodashi.com/demo/13845.html][http_www.demodashi.com_demo_13845.html]

## 前言 ##

周末自己在家闲着没事，刷着微信，玩着手机，发现自己的微信头像该换了，就去网上找了一下头像，看着图片，自己就想着作为一个码农，可以把这些图片都爬取下来做成一个微信小程序，说干就干，了解一下基本都知道怎么做了，整理分享一波给大家。

## 目录： ##

*  安装node，并下载依赖
 *  搭建服务
 *  请求我们要爬取的页面，返回json  
    **安装node**  
    我们开始安装node，可以去node官网下载[node下载地址][node]，下载完成后运行node使用，

node -v

安装成功后会出现你所安装的版本号。

接下来我们使用node, 打印出hello world，新建一个名为index.js文件输入  
`console.log('hello world')`  
运行这个文件

node index.js

就会在控制面板上输出hello world  
**搭建服务器**  
新建一个·名为node的文件夹  
首先你需要下载express依赖

npm install express

在新建一个名为demo.js的文件  
\#\#\#项目目录结构  
如图：  
![图片描述][Image 1]  
在demo.js引入下载的express

const express = require('express');
    const app = express();
    app.get('/index', function(req, res) {
    res.end('111')
    })
    var server = app.listen(8081, function() {
        var host = server.address().address
        var port = server.address().port
        console.log("应用实例，访问地址为 http://%s:%s", host, port)
    
    })

### 运行效果 ###

运行node demo.js简单的服务就搭起来了，如图：  
![图片描述][Image 1]  
**请求我们要爬取的页面**  
首先下载需要的依赖

npm install superagent
    npm install superagent-charset
    npm install cheerio

superagent 是用来发起请求的，是一个轻量的,渐进式的ajax api,可读性好,学习曲线低,内部依赖nodejs原生的请求api,适用于nodejs环境下.，也可以使用http发起请求  
superagent-charset防止爬取下来的数据乱码，更改字符格式  
cheerio为服务器特别定制的，快速、灵活、实施的jQuery核心实现.。  
安装完依赖就可以引入了

var superagent = require('superagent');
    var charset = require('superagent-charset');
    charset(superagent);
    const cheerio = require('cheerio');

引入之后就请求我们的地址，[https://www.qqtn.com/tx/weixintx\_1.html][https_www.qqtn.com_tx_weixintx_1.html]

const baseUrl = 'https://www.qqtn.com/'

这些设置完之后就是发请求了，接下来请看完整代码demo.js

运行demo.js就会返回我们拿到的数据，一个简单的node爬虫就完成了。希望可以到 项目[node爬虫][node 1] 上点一个 star 作为你对这个项目的认可与支持，谢谢。

node：爬虫爬取网页图片

> 代码地址如下：  
> [http://www.demodashi.com/demo/13845.html][http_www.demodashi.com_demo_13845.html]

> 注：本文著作权归作者，由demo大师发表，拒绝转载，转载需要作者授权

[http_www.demodashi.com_demo_13845.html]: http://www.demodashi.com/demo/13845.html
[node]: https://nodejs.org/zh-cn/
[Image 1]: 
[https_www.qqtn.com_tx_weixintx_1.html]: https://www.qqtn.com/tx/weixintx_1.html
[node 1]: https://github.com/Mr-MengBo/Reptilian