cookiejar的用法

朱雀 2021-01-27 06:57 817阅读 0赞

我们在使用爬虫的时候，经常会用到cookie进行模拟登陆和访问。在使用urllib库做爬虫，我们需要借助http.cookiejar库中的CookieJar来实现。
　　cookiejar怎么样
　　CookieJar类有一些子类，分别是FileCookieJar，MozillaCookieJar，LWPCookieJar。
　　CookieJar：管理HTTPcookie值、存储HTTP请求生成的cookie、向传出的HTTP请求添加cookie的对象。整个cookie都存储在内存中，对CookieJar实例进行垃圾回收后cookie也将丢失。
　　FileCookieJar(filename,delayload=None,policy=None)：从CookieJar派生而来，用来创建FileCookieJar实例，检索cookie信息并将cookie存储到文件中。filename是存储cookie的文件名。delayload为True时支持延迟访问访问文件，即只有在需要时才读取文件或在文件中存储数据。
　　MozillaCookieJar(filename,delayload=None,policy=None)：从FileCookieJar派生而来，创建与Mozilla浏览器cookies.txt兼容的FileCookieJar实例。
　　LWPCookieJar(filename,delayload=None,policy=None)：从FileCookieJar派生而来，创建与libwww-perl标准的Set-Cookie3文件格式兼容的FileCookieJar实例。
　　其实大多数情况下，我们只用CookieJar()，如果需要和本地文件交互，就用MozillaCookjar()或LWPCookieJar()。
　　当然，如果我们对cookie有定制的需要，那么我们也要借助HTTPCookieProcess处理器来处理。具体看下面代码。
　　使用CookieJar获取cookie值
　　代码如下：
````
　　if__name__=='__main__':
　　url='http://www.baidu.com/'
　　headers={
　　'User-Agent':'Mozilla/5.0(WindowsNT10.0;WOW64)AppleWebKit/537.36(KHTML,likeGecko)Chrome/53.0.2785.104Safari/537.36Core/1.53.3427.400QQBrowser/9.6.12513.400'
　　}
````

发表评论取消回复

表情：

评论列表（有 0 条评论，817人围观）

还没有评论，来说两句吧...

相关阅读

相关 Merge的用法

Merge的用法【[尊重][Link 1] [原创，转载请注明出处][Link 1] 】http://blog.chinaunix.net/uid-206498

短命女/ 2022年07月28日 09:49/ 0 赞/ 289 阅读

相关 BaseAdapter的用法

转自：[http://www.360doc.com/content/16/0712/00/35027416\_574846151.shtml][http_www.360doc.

朴灿烈づ我的快乐病毒、/ 2022年07月21日 01:17/ 0 赞/ 312 阅读

相关 CookieJar和HTTPCookieProcessor

CookieJar和HTTPCookieProcessor 我们在使用爬虫的时候，经常会用到cookie进行模拟登陆和访问。在使用urllib库做爬虫，我们需要借助`ht

迈不过友情╰/ 2022年06月05日 03:49/ 0 赞/ 93 阅读

相关 typedef的用法

typedef主要有四个通途，如下：用途一：定义一种类型的别名，而不只是简单的宏替换。可以用作同时声明指针型的多个对象。比如： char pa, pb

「爱情、让人受尽委屈。」/ 2022年06月04日 01:57/ 0 赞/ 266 阅读

相关 Distinct的用法

一、使用Distinct （1）单列去重 select distinct dname from blog （2）多列去重 selec

爱被打了一巴掌/ 2022年05月19日 04:45/ 0 赞/ 276 阅读

相关 typedef 的用法

typedef 的用法 \\\\\以下是参考部分\\\\\ 此部分参考自：http://blog.sina.com.cn/u/572f7666010008dm 用途一：

我不是女神ヾ/ 2022年04月10日 07:53/ 0 赞/ 248 阅读

相关 CookieJar模块管理Cookie

CookieJar：管理HTTP cookie值、存储HTTP请求生成的cookie、向传出的HTTP请求添加cookie的对象。整个cookie都存储在内存中，对Coo

梦里梦外;/ 2022年03月26日 07:58/ 0 赞/ 214 阅读

相关 typedef的用法

类型定义 - typedef 1, 给某个类型指定别名 2, 如, typedef int INTEGER; int num; <==> INTEGER num

ゞ浴缸里的玫瑰/ 2021年12月14日 03:47/ 0 赞/ 363 阅读

相关 ${ }的用法

假設我們定義了一個變量為： file=/dir1/dir2/dir3/my.file.txt 我們可以用 ${ } 分別替換獲得不同的值： ${file#*/}：拿掉第一...

朱雀/ 2021年04月23日 15:08/ 0 赞/ 839 阅读

相关 cookiejar的用法

我们在使用爬虫的时候，经常会用到cookie进行模拟登陆和访问。在使用urllib库做爬虫，我们需要借助http.cookiejar库中的CookieJar来实现。　　...

朱雀/ 2021年01月27日 06:57/ 0 赞/ 818 阅读