爬虫，加代理的三种方式

野性酷女 2022-02-27 03:30 141阅读 0赞

第一种：

selenium加上代理，selenium主要是实现自动化登录验证等操作

**1.Selenium调用代理**

from selenium import webdriver

proxy='123.58.10.36:8080'

chrome\_options=webdriver.ChromeOptions()

chrome\_options.add\_argument('--proxy-server=http://'+proxy)

browser=webdriver.Chrome(chrome\_options=chrome\_options)

browser.get('http://httpbin.org/get')

第二种;

**2.requests调用代理**

import requests

proxy='123.58.10.36:8080' \#本地代理

\#proxy='username:password@123.58.10.36:8080'

proxies=\{

'http':'http://'+proxy,

'https':'https://'+proxy

\}

try:

response=requests.get('http://httpbin.org/get',proxies=proxies)

print(response.text)

except requests.exceptions.ConnectionError as e:

print('错误:',e.args)

虽然形式上就是这样写的，但是亲测并不好用，总是会出现连接错误，具体没弄明白为什么，有哪位大佬可以解释一下

**3.urllib调用代理**

from urllib.error import URLError

from urllib.request import ProxyHandler,build\_opener

proxy='123.58.10.36:8080' \#使用本地代理

\#proxy='username:password@123.58.10.36:8080' \#购买代理

proxy\_handler=ProxyHandler(\{

'http':'http://'+proxy,

'https':'https://'+proxy

\})

opener=build\_opener(proxy\_handler)

try:

response=opener.open('http://httpbin.org/get') \#测试ip的网址

print(response.read().decode('utf-8'))

except URLError as e:

print(e.reason)

三种情况，根据个人情况自己选择，不做过多建议！

发表评论取消回复

表情：

评论列表（有 0 条评论，141人围观）

还没有评论，来说两句吧...

相关阅读

相关 Tomcat热加载的三种方式

热部署是指在你修改项目BUG的时候对JSP或JAVA类进行了修改在不重启WEB服务器前提下能让修改生效。但是对配置文件的修改除外! 1、直接把项目web文件夹放在we

偏执的太偏执、/ 2022年09月24日 06:21/ 0 赞/ 252 阅读

相关 script三种加载方式

1、三种加载方式图解　　同步加载、延迟加载和异步加载三种加载方式图解如下： ![三种脚本加载的异同点][script.jpg] 　　从上面图中，可以看出：　

我就是我/ 2022年06月15日 08:46/ 0 赞/ 265 阅读

相关 java加载配置文件的三种方式

比如我们要加载db.properties文件如图： ![150730416869009.jpg][] 比如我们要加载source目录下的db.properties文件。

谁践踏了优雅/ 2022年06月15日 07:15/ 0 赞/ 222 阅读

相关加载文件资源的三种方式

1.从classpath根目录下加载指定名称的文件 this.getClass().getClassLoader().getResourceAsStream

落日映苍穹つ/ 2022年06月03日 08:51/ 0 赞/ 267 阅读

相关使用代理IP网络爬虫的三种方式

import java.io.IOException; import java.io.InputStream; import java.net.Inet

拼搏现实的明天。/ 2022年05月29日 02:49/ 0 赞/ 203 阅读

相关 Java线程加锁的三种方式

1.对象锁（同步块）——锁某一个对象 > 对象锁：顾名思义给对象上锁 > > 当A线程访问一个object的时候，首先会获取该对象的对象锁，然后访问锁定的代码，而B线程

桃扇骨/ 2022年04月11日 20:15/ 0 赞/ 347 阅读

相关 js异步加载的三种方式

1.defer异步加载，要等到dom文档全部解析完才会执行。只有ie9以下可以用，特点是也可以将代码写到内部。 <script type='text/javascri

雨点打透心脏的1/2处/ 2022年03月09日 14:18/ 0 赞/ 393 阅读

相关爬虫，加代理的三种方式

第一种： selenium加上代理，selenium主要是实现自动化登录验证等操作 1.Selenium调用代理　　from selenium import webdr

野性酷女/ 2022年02月27日 03:30/ 0 赞/ 142 阅读

相关 Spring bean加载的三种方式

Spring bean加载的三种方式 UserService: package com.njtech.service; public inte

小灰灰/ 2022年01月21日 08:17/ 0 赞/ 373 阅读

相关加载gif动态图的三种方式

准备：本地图片资源，GifView ![Image 1][] GifView代码： / 调用结束就开始播放动画，如果需要用户指定何时播放的话，只需要

Bertha 。/ 2021年12月20日 03:13/ 0 赞/ 420 阅读