python模拟浏览器爬取数据

阳光穿透心脏的1/2处 2022-05-19 11:41 173阅读 0赞

在爬取某财经网站数据时由于没有设置Header信息，直接被封掉了ip

后来设置了Accept、Connection、User-Agent三个参数后换了个ip登录，成功请求到几次数据后又被封掉ip

最后老老实实把所有header信息都加上后请求（其实还少了一个cookie），现在请求了几十次还没被封     (ಥ﹏ಥ)

代码如下

![复制代码][copycode.gif]

#coding=utf-8
    import requests
    from bs4 import BeautifulSoup
    
    headers = {'Accept':'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8',
            'Accept-Encoding':'gzip,deflate,sdch',
            'Accept-Language':'en,zh-CN;q=0.8,zh;q=0.6',
            'Cache-Control':'max-age=0',
            'Host':'www.xxx.com',   #此处为财经网的主页
            'Connection':'keep-alive',
             'Upgrade-Insecure-Requests':'1',
            'Content-Type':'application/x-www-form-urlencoded',
            'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/34.0.1847.131 Safari/537.36'
        }
    response = requests.get("http://www.xxxxxx.com", headers=headers) #请求的地址
    soup = BeautifulSoup(response.content, 'html.parser')  #返回的html信息用soup解析
    print(response.status_code)  #请求状态码
    print(soup.prettify())　　#以格式输出html

![复制代码][copycode.gif]

[copycode.gif]: /images/20220519/1bec3ac1939943a19574a179c06a0d06.png

发表评论取消回复

表情：

评论列表（有 0 条评论，173人围观）

还没有评论，来说两句吧...

相关阅读

相关 Python爬取新闻网数据

前言本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理。 PS：如有需要Python学习资料的小伙伴可以加点击下方链接

柔情只为你懂/ 2022年12月23日 09:47/ 0 赞/ 264 阅读

相关 python 爬取京东商品数据

sqlite\_utils.py import sqlite3 初始化数据库 def init_connection():

矫情吗；*/ 2022年12月04日 09:19/ 0 赞/ 253 阅读

相关 python模拟浏览器爬取数据

在爬取某财经网站数据时由于没有设置Header信息，直接被封掉了ip 后来设置了Accept、Connection、User-Agent三个参数后换了个ip登录，成功请

阳光穿透心脏的1/2处/ 2022年05月19日 11:41/ 0 赞/ 174 阅读

相关 python 爬取了租房数据

爬取链接：[https://sh.lianjia.com/zufang/][https_sh.lianjia.com_zufang] 代码如下: import

谁借莪１个温暖的怀抱￠/ 2022年05月14日 07:42/ 0 赞/ 323 阅读

相关 python爬虫urllib（1） —使用代理ip，模拟不同浏览器爬取网站

文章目录一、爬虫任务二、python脚本三、结果一、爬虫任务爬取网站的标题步骤：

女爷i/ 2022年03月02日 15:44/ 0 赞/ 333 阅读

相关 Python自动化爬取App数据

![Python自动化爬取App数据][Python_App] 基本环境配置版本：Python3 系统：Windows 需要安装： 1.JDK - Dow

淩亂°似流年/ 2022年02月15日 00:23/ 0 赞/ 372 阅读

相关 python爬取app数据

python环境部署 python环境部署这里不做叙述 MYSQL操作安装MySQL驱动由于MySQL服务器以独立的进程运行，并通过网络对外服务，所以，需

桃扇骨/ 2021年12月21日 13:15/ 0 赞/ 377 阅读

相关 python模拟用户登录爬取阳光采购平台数据

原创内容，爬取请指明出处：[https://www.cnblogs.com/Lucy151213/p/10968868.html][https_www.cnblogs.com_

冷不防/ 2021年12月12日 12:17/ 0 赞/ 312 阅读

相关 Selenium模拟浏览器爬取拉勾网职位信息

今天想通过requests库来爬取拉钩网的岗位信息，但通过分析网站发现他的岗位信息都是通过向Ajax请求来获得的，也就是说返回来的网页源代码没有这部分信息，那requests库

r囧r小猫/ 2021年12月08日 22:09/ 0 赞/ 418 阅读

相关 python 爬取动态数据

按照：[https://dryscrape.readthedocs.io/en/latest/installation.html][https_dryscrape.readth

落日映苍穹つ/ 2021年11月11日 04:20/ 0 赞/ 500 阅读