node cheerio爬虫图片

本是古典何须时尚 2021-07-25 01:13 334阅读 0赞

cherrio 获取html文档内容,操作和jquery一样
    
    cnpm install cheerio -D
    
    使用
    let $=cheerio.load(请求来的html内容);
    
    获取属性
    $(dom对象/选择器).attr('属性');
    
    图片的下载
    (1)获取图片src地址
    (2)通过流式请求src地址,获取图片
    	axios.get(imgUrl,{responseType:'stream'}).then((res)=>{
    		//responseType:'stream'  以流的形式返回
     		//返回的图片就是流式内容,可以直接用管道
     		res.data.pipe(ws);
     	})

[爬取的网站][Link 1]

代码示例:

const cheerio =require('cheerio')
    const axios =require('axios')
    const fs=require('fs')
    const path=require('path')
    
    let http='https://www.doutula.com/'
    axios.get(http).then((res)=>{ 
    	let $=cheerio.load(res.data)
    
    	//获取当前页面的所有表情包a标签链接
    	$('#home .col-sm-9>a').each((index,item)=>{ 
    		//获取所有表情包详情a标签href
    		let pageUrl=$(item).attr('href');
    		//获取表情包组的title
    		let title=$(item).find('.random_title').text();
    		//正则去掉标题中的时间戳
    		let reg=/(.*?)\d/igs
    		title=reg.exec(title)[1]
    		//根据标题创建目录
    		fs.mkdir('C:/Users/10853/Desktop/爬虫img'+'/'+title,function(err){ 
    			console.log('ok');
    		});
    		//console.log(title);
    		parsePage(pageUrl,title);
    	})
    
    })
    
    //"C:\Users\10853\Desktop\爬虫img"
    
    
    //通过a标签链接获取指定的img
    async function parsePage(url,title){ 
    	let res= await axios.get(url)
    	let $=cheerio.load(res.data);
    	$('.pic-content img').each((index,item)=>{ 
    		//获得的是图片的地址,要想直接获得图片,还要创建流请求图片地址
    		let imgUrl=$(item).attr('src');
    
    	 	//获取图片后缀名
    	 	let extName=path.extname(imgUrl);
    	 	//创建写入流
    	 	let ws=fs.createWriteStream('C:/Users/10853/Desktop/爬虫img/'+title+"/"+title+index+extName);
    	 	//将图片流式写入,在请求的时候才能设置流式
    	 	axios.get(imgUrl,{ responseType:'stream'}).then((res)=>{ 
    	 		//返回的图片就是流式内容,可以直接用管道
    	 		res.data.pipe(ws);
    	 	})
    	 	
    	 })
    }

[Link 1]: http://www.doutula.com/

发表评论取消回复

表情：

评论列表（有 0 条评论，334人围观）

还没有评论，来说两句吧...

相关阅读

相关 Node.js中操作dom – cheerio

> cheerio 可以简单理解为node.js服务器端的jquery 官网：https://cheerio.js.org 安装： npm i cheerio

阳光穿透心脏的1/2处/ 2022年12月27日 09:14/ 0 赞/ 68 阅读

相关 node中使用superagent、cheerio进行爬虫

想必很多人都有这样的一个幻想，我可不可以啥也不用干，就获得别人的劳动成果呢？比如，我想做一个类似与豆瓣这样的app来练手，但是我有没有数据进行支撑，这时候我就想，能不能把豆瓣上

布满荆棘的人生/ 2022年09月09日 10:58/ 0 赞/ 108 阅读

相关 Node.js npm cheerio

译自 [https://www.npmjs.com/package/cheerio][https_www.npmjs.com_package_cheerio] cheeri

傷城~/ 2022年07月12日 06:18/ 0 赞/ 205 阅读

相关【NodeJS】爬虫之cheerio抓取网页数据

记录：及其简单的牛客网讨论区爬虫源代码： var express = require('express'); var superagent = requi

ゝ一纸荒年。/ 2022年05月27日 07:14/ 0 赞/ 454 阅读

相关【nodeJs】用cheerio写一个爬虫吧

爬取Cnode社区的文章用到的模块：express cheerio superagent superagent([http://visionmedia.gi

本是古典何须时尚/ 2022年05月24日 12:40/ 0 赞/ 198 阅读

相关【nodeJs】cheerio

cheerio是什么？ cheerio([https://github.com/cheeriojs/cheerio][https_github.com_cheeriojs

╰+攻爆jí腚メ/ 2022年05月24日 12:40/ 0 赞/ 151 阅读

相关 node：爬虫爬取网页图片

> 代码地址如下： > [http://www.demodashi.com/demo/13845.html][http_www.demodashi.com_demo_138

素颜马尾好姑娘i/ 2022年05月11日 04:36/ 0 赞/ 291 阅读

相关 Nodejs爬虫－－cheerio

cheerio解析html, 通读cheerio API: 参考文档：http://cnodejs.org/topic/5203a71844e76d216a727d2e [通

﹏ヽ暗。殇╰゛Y/ 2021年10月09日 04:06/ 0 赞/ 220 阅读

相关 node 爬虫

[爬的电影网站][Link 1] 通过异步请求获取到页面资源后再正则选定爬取，正则.exec(内容),只匹配一次, 返回数组,匹配多次需要循环

我不是女神ヾ/ 2021年07月25日 02:54/ 0 赞/ 289 阅读

相关 node cheerio爬虫图片

cherrio 获取html文档内容,操作和jquery一样 cnpm install cheerio -D 使用 let

本是古典何须时尚/ 2021年07月25日 01:13/ 0 赞/ 335 阅读