python 爬虫忽略不信任证书

亦凉 2023-08-17 16:48 206阅读 0赞

当爬虫遇到了像12306这种不信任证书的情况时,一般爬取会返回证书异常,因为12306的证书是自己颁发的而不是CA的。

解决:

  1. from urllib.request import Request, urlopen
  2. import ssl
  3. request = Request('http://www.12306.cn/normhweb')
  4. request.add_header(
  5. 'User-agent',
  6. 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3554.0 Safari/537.36'
  7. )
  8. context = ssl._create_unverified_context()
  9. res = urlopen(request, context=context)
  10. with res:
  11. pass

发表评论

表情:
评论列表 (有 0 条评论,206人围观)

还没有评论,来说两句吧...

相关阅读

    相关 此ca根目录证书信任

    如果请求的服务器是https协议的,没有将服务的证书导入请求方的信任列表库,会出现找不到可信任证书的报错,这时候需要浏览器打开请求的地址,点击地址栏左侧的锁或者三角,点击证书,

    相关 证书信任

    以下说明以税务测试证书为准: ‘税务总根证书’为最根本的证书,它可以给自己颁发证书,那么证书颁发者和证书使用者都为总根证书。那么证书的颁发者和颁发给都为总根证书,授权密