爬虫之requests，json的使用------ json模块的新认知

淩亂°似流年 2021-12-24 05:35 364阅读 1赞

import json
    import requests
    """
    https://m.douban.com/rexxar/api/v2/subject_collection/tv_american/items?os=ios&for_mobile=1&callback=jsonp1&start=0&count=18&loc_id=108288&_=0
         以上是原始的url地址，因为其中有callback=jsonp1这个参数，所以在返回数据的时候并不是json格式，因此如果想要返回格式为json格式，将此参数删除即可，如下
    """
    
    url = "https://m.douban.com/rexxar/api/v2/subject_collection/tv_american/items?os=ios&for_mobile=1&start=0&count=18&loc_id=108288&_=0"
    
    headers = {
        "User-Agent": "Mozilla/5.0 (iPhone; CPU iPhone OS 11_0 like Mac OS X) AppleWebKit/604.1.38 (KHTML, like Gecko) Version/11.0 Mobile/15A372 Safari/604.1",
        "Referer": "https://m.douban.com/tv/american"
    }
    
    
    response = requests.get(url, headers=headers)
    # print(response.text)   这样输出的话中文是被编码过的
    # print(json.loads(response.text))   转换成字典类型输出就不会是编码过的了
    
    # 1.因为写进文档中内容可以是字符串，不可以是python类型数据，因为可以直接写入json字符串，但是这种方式写入的话，中文是被编码过的
    
    with open("json_douban.txt", "w", encoding="utf-8") as f:
        f.write(json.loads(response.text))
    
    # 2.因此解决上面问题的办法是将获取的json字符串先转换成字典，再将字典转换成字符串的过程中解决了，如下 
    # with open("json_douban_dumps.txt", "w", encoding="utf-8") as f:
    #     f.write(json.dumps(json.loads(response.text), ensure_ascii=False, indent=2))
    
    # 在此说明一下　
    # json.dumps(json.loads(response.text), ensure_ascii=False, indent=2)
    # 参数1: ensure_ascii=False   --> 告知python不要将中文编码，显示原始字符
    # 参数2: indent=2　　　　-->  告知python在存入的过程中要按照指定格式缩进