反爬虫1

谁借莪１个温暖的怀抱￠ 2022-05-23 09:26 246阅读 0赞

我是爬虫初学者，在爬虫中遇到的问题积累下来，总有些网站请求做了一些反爬虫的技术。思考一下，可以应用到自己的网站里面种。  
使用fiddler抓包，我是按照下图过滤了一些信息.  
`REGEX:\.(js|css|jpg|png|mp3|js\?.*|css?.*|jpg\?.*|png\?.*|mp3\?.*)$`,将js、css、图片等隐藏掉，这些一般跟爬虫没太大关系，除非你爬取的就是图片或其他资源  
![1][]  
当我打开页面的时候，看到了这些信息  
![1][1 1]  
查看页面，发现底部使用了  
`<script language="javascript" type="text/javascript" src="/xxx_start.php"></script>`  
了解 [HTML ][HTML]

def __init__(self):
            self.driver = webdriver.PhantomJS()
    
        def start_requests(self):
            url = 'http://www.xxxx.cn/'
            self.driver.get(url)
            self.sid = self.driver.get_cookie('SESSID')['value']
            self.driver.close()
            return super(xxxSpider,self).start_requests()
    
        ''' 通过selenium与PhantomJS，模拟浏览器访问 获取cookie-SESSID的值 '''
        def make_request_from_data(self, data):
            return self.self_make_request_api(self.sid,data)

[1]: /images/20220523/be02b0049d0b4dc78a943f5b8c2afd00.png
[1 1]: /images/20220523/c18e9acf8ded44d991fc93633f080e26.png
[HTML]: http://www.w3school.com.cn/tags/att_script_src.asp

发表评论取消回复

表情：

评论列表（有 0 条评论，246人围观）

还没有评论，来说两句吧...

相关阅读

相关爬虫扩展——爬虫与反爬虫的恩怨情仇

目录一. 爬虫与防爬的斗争与环境二. 斗争的过程与发展总结爬虫文章专栏 -------------------- 一. 爬虫与防爬的斗争与环境 >

短命女/ 2023年09月29日 12:10/ 0 赞/ 45 阅读

相关爬虫----反爬与反反爬

目录一：反爬与反反爬介绍： 1: 反爬的三个方向： 2：基于身份识别进行反爬： 3：常见基于

Love The Way You Lie/ 2022年12月23日 11:22/ 0 赞/ 215 阅读

相关反爬虫策略

突然接到一个任务，是要对公司的网站做反爬虫策略，于是到网上到处去找相关资料，总结出主要几种反爬虫策略。 1、user\_agent判断：只允许特定的爬虫引擎和浏览器user\

╰半夏微凉°/ 2022年06月01日 13:21/ 0 赞/ 262 阅读

相关反爬虫1

我是爬虫初学者，在爬虫中遇到的问题积累下来，总有些网站请求做了一些反爬虫的技术。思考一下，可以应用到自己的网站里面种。使用fiddler抓包，我是按照下图过滤了一些信息.

谁借莪１个温暖的怀抱￠/ 2022年05月23日 09:26/ 0 赞/ 247 阅读

相关反爬虫策略研究

Gtihub相关项目推荐： [知乎爬虫][Link 1] [自建代理池][Link 2] 一.对请求IP等进行限制的。以知乎为例，当我们的请求速度到达一定的

川长思鸟来/ 2022年05月21日 12:49/ 0 赞/ 184 阅读

相关 scrapy反反爬虫

\反反爬虫相关机制 Some websites implement certain measures to prevent bots from crawling them,

「爱情、让人受尽委屈。」/ 2022年05月16日 11:10/ 0 赞/ 238 阅读

相关通过Nginx进行的爬虫反爬虫

[https://mp.weixin.qq.com/s/Y25\_TRrKmVlTMvPrQja\_cg][https_mp.weixin.qq.com_s_Y25_TRrKm

小鱼儿/ 2022年04月18日 00:46/ 0 赞/ 236 阅读

相关 scrapy爬虫与反爬虫

scrapy爬虫与反爬虫更多文章欢迎访问个人博客 [www.herobin.top][] 爬虫和反爬虫 > 爬虫：自动获取网站数据的程序，关键是批量的获取 >

曾经终败给现在/ 2022年03月22日 05:40/ 0 赞/ 387 阅读

相关爬虫与反爬

爬虫(Spider)，反爬虫(Anti-Spider)，反反爬虫(Anti-Anti-Spider)，这之间的斗争恢宏壮阔… Day 1 小莫想要某站上所有的电影，写了标

今天药忘吃喽~/ 2022年02月22日 10:52/ 0 赞/ 325 阅读

相关 python爬虫——简单三个反反爬虫

爬虫、反爬虫、反反爬虫一直在更新换代现在我还弄不来绕过验证码，所以介绍最简单的三个方式创建一个 [setting.py][] 存放一些字典 1、请求延时

我会带着你远行/ 2021年11月23日 00:46/ 0 赞/ 564 阅读