node 拦截器拦截请求下载电子书以及等待前端渲染操作、浏览器操作

悠悠 2021-07-24 20:14 254阅读 0赞

1、因为下载资源是通过点击事件来ajax请求的,无法在页面看到a标签链接
    
    2、通过拦截器来拦截
    
    3、等待前端渲染完成后(类挂载后)获取数据
    	await page.waitForSelector('选择器');
    	
    4、监听请求事件是否完成
    		page.on('requestfinished',function(req){
    			 	console.log(req.url());
    			 	xxx
    			 })
    			 
    5、在拦截器中,通过监听写入流是否关闭,来判断下载是否完成
    			ws.on('close',function(){
    					ws.end();
    					console.log('下载完成');
    					page.close();
    				})
    				
    6、获取已经打开的浏览器对象
    
    	let arr=await broser.pages; 返回一个数组,包含已经打开的页面
    	page=arr[2]; 改变page对象
    
    7、获取当前页面的url
    
    	await page.url();

代码示例:

let puppeteer=require('puppeteer');
    let axios =require('axios');
    let Url=require('url');
    let fs=require('fs');
    let { fsRead,fsWrite}=require('./fsR.js');
    
    //C:/Users/10853/Desktop/爬虫电子书.txt
    
    let http='https://sobooks.cc/';
    async function run(){ 
    
    	function wait(time){ 
    		return new Promise(function(resolve,reject){ 
    			setTimeout(function(){ 
    				resolve('ok延迟')
    			})
    		},time)
    	}
    
    
    	let options={ 
    		headless:false,
    		slowMo:250,
    		defaultViewport:{ 
    			width:1000,
    			height:800
    		},
    		//浏览器响应时间变成无限
    		timeout:0
    	}
    
    	let browser=await puppeteer.launch(options);
    
    	//获取文档存放的书籍链接等信息
    	async function parseText(){ 
    		let text=await fsRead('C:/Users/10853/Desktop/爬虫电子书.txt')
    
    		//正则匹配
    		let reg=/(.*?),(.*?)---/igs;
    		let arr=[];
    		while(end=reg.exec(text)){ 
    			let bookTitle=end[1];
    			let bookHref=end[2];
    
    			let bookObj={ 
    				title:bookTitle,
    				href:bookHref
    			}
    			arr.push(bookObj);
    		}
    		return arr;
    	}
    
    	let arr=await parseText();
    	let index=0;
    
    	//根据链接信息去到下载页面
    	async function downloadBook(){ 
    		//根据索引值下载书
    		if(index==arr.length)
    		{ 
    			return 'ok'
    		}
    		let book=arr[index].href;
    		index++;
    
    		console.log(book);
    		//打开页面下载书籍
    		let page=await browser.newPage();
    		await page.goto(book);
    
    		//等待前端渲染完成后(类挂载后)获取数据
    		await page.waitForSelector('#table_files tbody .even a');
    
    		//获取页面a标签
    		let eleA=await page.$('#table_files tbody .even a')
    		
    		//获取a链接href属性
    		let eleAhref=await eleA.getProperty('href');
    		eleAhref=eleAhref._remoteObject.value;
    		bookLinkPage(eleAhref,arr[index].title);
    
    		//关闭页面
    		page.close();
    
    	}
    
    	downloadBook();
    
    	//获取下载a链接
    	async function bookLinkPage(linkUrl,title){ 
    		//去掉换行符
    		title=title.replace(/[\r\n]/g,'');
    
    		let page= await browser.newPage();
    		await page.goto(linkUrl);
    		//获取下载按钮
    
    		let btn=await page.$('.btn-outline-secondary:nth-child(3)')
    		btn.click();
    		//监听请求事件是否完成
    		// page.on('requestfinished',function(req){ 
    		// console.log(req.url());
    		// })
    		
    		//截取下载资源
    		await page.setRequestInterception(true);
    		//监听每一次请求，形参为请求对象
    		page.on('request',(interceptedRequest)=>{ 
    			//http://14804066.ch1.ctc.data.tv002.com/down/
    			//ite.url()获取请求url地址
    			let urlObj=Url.parse(interceptedRequest.url());
    			//如果是谷歌的广告
    			if(urlObj.hostname=='14804066.ch1.ctc.data.tv002.com'){ 
    				//拦截请求
    				let ws=fs.createWriteStream('C:/Users/10853/Desktop/爬虫book/'+title+'.epub');
    				interceptedRequest.abort();
    				axios.get(urlObj.href,{ responseType:'stream'}).then((res)=>{ 
    					res.data.pipe(ws);
    
    					ws.on('close',function(){ 
    						ws.end();
    						console.log(title+'下载完成');
    						page.close();
    						//递归调用下载
    						downloadBook();
    					})
    				})
    			}else{ 
    				interceptedRequest.continue();
    			}
    		})
    
    	}
    
    }
    
    run();

发表评论取消回复

表情：

评论列表（有 0 条评论，254人围观）

还没有评论，来说两句吧...

相关阅读

相关 Mybatis 全表操作拦截器

/ @author ybb @Description 全表操作拦截器 / @Intercepts({ @S

一时失言乱红尘/ 2024年04月06日 10:29/ 0 赞/ 29 阅读

相关 springBoot集成拦截器拦截404,500请求

1.直接在controller写一个控制器，但是这个控制器要实现HandlerInterceptor接口，并且要实习里面的三个方法: preHandle; >

我不是女神ヾ/ 2023年10月18日 14:37/ 0 赞/ 127 阅读

相关浏览器广告拦截_如何检测广告拦截器

浏览器广告拦截 One of the unspoken rules of the internet is that most content is "free"... at

我不是女神ヾ/ 2023年02月21日 14:28/ 0 赞/ 4 阅读

相关拦截器操作数据流异常问题分析

文章目录【背景】【错误代码案例】【分析】【解决方

迈不过友情╰/ 2022年12月26日 15:26/ 0 赞/ 110 阅读

相关 java 拦截redis请求_Redis 分布式请求拦截器

1 自定义拦截器下方的redisOperator就是个工具类，对redis api 操作进行简单的封装，如果有兴趣的，可以下方的地址下载： import com.ausk

悠悠/ 2022年11月11日 14:48/ 0 赞/ 233 阅读

相关 [前端]浏览器拦截ajax的弹窗请求.

因为业务需求需要在ajax处理成功后做出弹窗. But!浏览器认为这是不友好的.会把你的弹窗请求直接拦截. 可以使用本方法... var url ="<%=re

﹏ヽ暗。殇╰゛Y/ 2022年05月18日 01:25/ 0 赞/ 217 阅读

相关请求拦截器HttpRequestInterceptor

分享一下我老师大神的人工智能教程！零基础，通俗易懂！[http://blog.csdn.net/jiangjunshow][http_blog.csdn.net_jiangju

超、凢脫俗/ 2022年04月17日 03:47/ 0 赞/ 257 阅读

相关 spring boot 拦截器实现拦截前端请求并返回json至前端页面

拦截器主体 import com.alibaba.fastjson.JSONObject; import com.ufclub.vis.constant.StatusCo

水深无声/ 2022年03月10日 14:36/ 0 赞/ 1091 阅读

相关 node puppeteer拦截谷歌请求、设置浏览器响应-爬取电子书链接

(1)拦截谷歌请求: (1)拦截谷歌请求,使用后会激活会激活 request.abort, request.continue 和 request.respon

阳光穿透心脏的1/2处/ 2021年07月25日 00:54/ 1 赞/ 566 阅读

相关 node 拦截器拦截请求下载电子书以及等待前端渲染操作、浏览器操作

1、因为下载资源是通过点击事件来ajax请求的,无法在页面看到a标签链接 2、通过拦截器来拦截 3、等待前端渲染完成后(类挂载后)获

悠悠/ 2021年07月24日 20:14/ 0 赞/ 255 阅读