node puppeteer拦截谷歌请求、设置浏览器响应-爬取电子书链接

阳光穿透心脏的1/2处 2021-07-25 00:54 566阅读 1赞

(1)拦截谷歌请求:
    	(1)拦截谷歌请求,使用后会激活会激活 request.abort, request.continue 和 request.respond 方法。
    	
    		await page.setRequestInterception(true);
    		
    	(2)监听request事件,对请求做出操作
    		一旦启用请求拦截，每个请求都将停止，除非它继续，响应或中止
    		
    		page.on('request',回调函数(request形参,包含上述方法)
    
    	如拦截谷歌广告:
    	//截取谷歌请求
    		await page.setRequestInterception(true);
    		//监听每一次请求，形参为请求对象
    		page.on('request',(interceptedRequest)=>{
    			//ite.url()获取请求url地址
    			let urlObj=Url.parse(interceptedRequest.url());
    			//如果是谷歌的广告
    			if(urlObj.hostname=='googleads.g.doubleclick.net'或者urlObj.hostname.indexOf('google')!=-1){
    				//拦截请求
    				interceptedRequest.abort();
    			}else{
    				interceptedRequest.continue();
    			}
    		})
    
    (2)如果爬取时间超时导致失败:
    
    	(1)通过延迟函数,将延迟时间增长
    	(2)使用page.setDefaultNavigationTimeout(0); 将浏览器响应时间改为无限长,默认为30秒
    	(3)在配置信息中设置,timeout=0; 效果和(2)一样
    
    (3)获取资源后关闭页面,减小性能消耗
    
    	page.close();
    	
    (4)通过page.$/$$()返回的ElementHandle 获取元素属性
    
    		let xx=await page.$('选择器')
    		let xxx=await xx.getProperty('属性');
    		let xxxx=xxx._remoteObject.value;

[爬取的电子书网站][Link 1]

代码示例:

let puppeteer=require('puppeteer');
    let axios =require('axios');
    let Url=require('url');
    let fs=require('fs');
    
    let http='https://sobooks.cc/';
    async function run(){ 
    
    	function wait(time){ 
    		return new Promise(function(resolve,reject){ 
    			setTimeout(function(){ 
    				resolve('ok延迟')
    			})
    		},time)
    	}
    
    
    	let options={ 
    		headless:false,
    		slowMo:250,
    		defaultViewport:{ 
    			width:1000,
    			height:800
    		}
    	}
    
    	let browser=await puppeteer.launch(options);
    
    	//获取所有页数
    	async function getAllNum(){ 
    		let page=await browser.newPage();
    
    		//截取谷歌广告请求
    		await page.setRequestInterception(true);
    		//监听每一次请求，形参为请求对象
    		page.on('request',(interceptedRequest)=>{ 
    			//ite.url()获取请求url地址
    			let urlObj=Url.parse(interceptedRequest.url());
    			if(urlObj.hostname=='googleads.g.doubleclick.net'){ 
    				//拦截请求
    				interceptedRequest.abort();
    			}else{ 
    				interceptedRequest.continue();
    			}
    		})
    
    
    		await page.goto(http);
    		let pageNum=await page.$eval('.pagination li:last-child span',(ele)=>{ 
    			//获得页数
    			let num=ele.innerText.substring(2,length-2);
    			return num.trim();
    		})
    		//返回内容后关掉当前页面,节省空间
    		page.close();
    		return pageNum;
    	}
    
    	let pageNum=await getAllNum();
    
    	//获取指定页的所有书籍链接
    	async function pageList(num){ 
    		let listUrl='https://sobooks.cc/page/'+num;
    		let page=await browser.newPage();
    		//设置浏览器响应时间为无限制等待,默认为30秒
    		page.setDefaultNavigationTimeout(0);
    		//截取谷歌请求
    		await page.setRequestInterception(true);
    		//监听每一次请求，形参为请求对象
    		page.on('request',(interceptedRequest)=>{ 
    			//ite.url()获取请求url地址
    			let urlObj=Url.parse(interceptedRequest.url());
    			if(urlObj.hostname=='googleads.g.doubleclick.net'){ 
    				//拦截请求
    				interceptedRequest.abort();
    			}else{ 
    				interceptedRequest.continue();
    			}
    		})
    
    
    		await page.goto(listUrl);
    
    		let arr= await page.$$eval('.card .card-item .thumb-img>a',(ele)=>{ 
    			let arr=[];
    			ele.forEach(function(item,index){ 
    				let obj={ 
    					href:item.getAttribute('href'),
    					title:item.getAttribute('title')
    				};
    				arr.push(obj);
    			})
    			// console.log(arr);
    			return arr;
    		})
    
    		//获取结束后关闭页面
    		page.close();
    
    		//遍历内容,去到书籍的详情页面,获取网盘链接
    		arr.forEach(async (item,index)=>{ 
    			//延迟函数,延迟打开
    			await wait(300*index);
    			getPageInfo(item);
    		})
    	}
    
    	//根据书籍地址,去获取网盘链接
    	async function getPageInfo(pageObj){ 
    		let page=await browser.newPage();
    
    		//截取谷歌请求
    		await page.setRequestInterception(true);
    		//监听每一次请求，形参为请求对象
    		page.on('request',(interceptedRequest)=>{ 
    			//ite.url()获取请求url地址
    			let urlObj=Url.parse(interceptedRequest.url());
    			if(urlObj.hostname=='googleads.g.doubleclick.net'){ 
    				//拦截请求
    				interceptedRequest.abort();
    			}else{ 
    				interceptedRequest.continue();
    			}
    		})
    
    
    
    		await page.goto(pageObj.href);
    		let eleA=await page.$('.dltable tr:nth-child(3) a:last-child')
    		//page.$()方式,获取元素属性的方法
    		let url=await eleA.getProperty('href');
    		url=url._remoteObject.value;
    
    		//解析地址,获取网盘链接
    		url=url.split('?url=')[1]+'\n';
    		let content={ 
    			title:pageObj.title,
    			url:url
    		}
    		//存放地址
    		console.log(pageObj.title);
    		fs.writeFile("C:/Users/10853/Desktop/爬虫电子书.txt",content.title+','+content.url,{ flag:'a'},function(err){ 
    			console.log('ok');
    		})
    	}
    
    	 pageList(1);
    }
    
    run();

[Link 1]: https://sobooks.cc/

发表评论取消回复

表情：

评论列表（有 0 条评论，566人围观）

还没有评论，来说两句吧...

相关阅读

相关用谷歌浏览器查看HTTP请求或响应头

1：在Chrome浏览器，访问一个网址，点击右键，选择检查，打开开发人员工具（或直接按F12）。 2：选择 Network 选项卡. 3：重新加载页面，选择左侧面板上的

忘是亡心i/ 2023年10月17日 21:48/ 0 赞/ 14 阅读

相关如何设置谷歌浏览器在新窗口中打开链接

1、进入谷歌官网网址：[https://www.google.com][https_www.google.com] 2、在谷歌官网中滑动页面到最下面，点击右下角的`设置`

「爱情、让人受尽委屈。」/ 2022年12月27日 09:15/ 0 赞/ 361 阅读

相关【谷歌浏览器】谷歌浏览器SameSite

> `前言` 转载自：[https://blog.csdn.net/opiqi/article/details/107955465][https_blog.csdn.net_

女爷i/ 2022年11月18日 04:38/ 0 赞/ 420 阅读

相关谷歌浏览器取色

<table style="word-wrap:break-word; empty-cells:show; border-collapse:collapse; table-la

女爷i/ 2022年06月02日 03:58/ 0 赞/ 417 阅读

相关谷歌、eclipse下载链接

[谷歌下载链接][Link 1] [eclipse官网下载链接][eclipse] [Link 1]: https://www.ibm.com/developerwork

喜欢ヅ旅行/ 2022年05月19日 07:59/ 0 赞/ 312 阅读

相关 scrapy爬取链接后再爬取链接内容

以下代码是在python3.6环境下测试通过 !/usr/bin/python -- coding:utf-8 -- from scrapy.h

╰+攻爆jí腚メ/ 2022年05月15日 15:10/ 0 赞/ 343 阅读

相关谷歌浏览器设置

chrome 开发模式中如何移动控制台的位置 F12打开后打开三个点之后是单独显示下边显示和右侧显示 ![342ac65c1038534350981d989

雨点打透心脏的1/2处/ 2022年03月27日 05:45/ 0 赞/ 519 阅读

相关怎么用谷歌浏览器查看请求或响应HTTP头？

google浏览器给开发者提供了很好的调试环境，如果要看一次请求时的请求和响应内容： 1、打开google浏览器 2、在浏览器空白处点右键，选择“检查”，会看到如下画

青旅半醒/ 2021年12月16日 09:13/ 0 赞/ 1565 阅读

相关 node puppeteer拦截谷歌请求、设置浏览器响应-爬取电子书链接

(1)拦截谷歌请求: (1)拦截谷歌请求,使用后会激活会激活 request.abort, request.continue 和 request.respon

阳光穿透心脏的1/2处/ 2021年07月25日 00:54/ 1 赞/ 567 阅读

相关 node 拦截器拦截请求下载电子书以及等待前端渲染操作、浏览器操作

1、因为下载资源是通过点击事件来ajax请求的,无法在页面看到a标签链接 2、通过拦截器来拦截 3、等待前端渲染完成后(类挂载后)获

悠悠/ 2021年07月24日 20:14/ 0 赞/ 255 阅读