python反爬之网页局部刷新1

野性酷女 2021-12-23 06:49 225阅读 0赞

# ajax动态加载网页
    # 怎样判断一个网页是不是动态加载的呢？
    # 查看网页源代码，如果源码中没有你要的数据，尝试访问下一页，当你点击下一页的时候，整个页面没有刷新， 只是局部刷新了，很大的可能是ajax加载
    # 遇到ajax加载，一般的解决步骤就，通过浏览器或者软件抓包分析响应的请求，查看response里面哪个有你需要的数据，
    # 然后再分析headers请求的网址，直接向哪个网址请求即可，当然还会有一些接口需要构建post请求
    import json
    import jsonpath
    import requests
    headers = {
        'User-Agent':"Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.9.0.10) Gecko/2009042316 Firefox/3.0.10",
    }
    url = 'https://fe-api.zhaopin.com/c/i/sou?start={}&pageSize=60&cityId=489&workExperience=-1&education=-1&companyType=-1&employmentType=-1&jobWelfareTag=-1&kw=python&kt=3&_v=0.11045029&x-zp-page-request-id=7d6ccc963ff14b1d995b6f21942f2295-1542632726829-135321'
    r = requests.get(url=url.format(3*60),headers=headers)
    demo = r.text
    # string = json.dumps(demo, ensure_ascii=False)
    obj = json.loads(demo)
    ret = jsonpath.jsonpath(obj, '$..company.name')
    print(ret)# ajax动态加载网页
    # 怎样判断一个网页是不是动态加载的呢？
    # 查看网页源代码，如果源码中没有你要的数据，尝试访问下一页，当你点击下一页的时候，整个页面没有刷新，
    # 只是局部刷新了，很大的可能是ajax加载
    # 遇到ajax加载，一般的解决步骤就，通过浏览器或者软件抓包分析响应的请求，查看response里面哪个是需要的数据，
    # 然后再分析headers请求的网址，直接向哪个网址请求即可，当然还会有一些接口需要构建post请求
    #导入的包如果下面出现红色波浪线，pip install 名字 即可
    import json
    import jsonpath
    import requests
    headers = {
        'User-Agent':"Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.9.0.10) Gecko/2009042316 Firefox/3.0.10",
    }
    url = 'https://fe-api.zhaopin.com/c/i/sou?start={}&pageSize=60&cityId=489&workExperience=-1&education=-1&companyType=-1&employmentType=-1&jobWelfareTag=-1&kw=python&kt=3&_v=0.11045029&x-zp-page-request-id=7d6ccc963ff14b1d995b6f21942f2295-1542632726829-135321'
    r = requests.get(url=url.format(3*60),headers=headers)
    demo = r.text
    # string = json.dumps(demo, ensure_ascii=False)
    obj = json.loads(demo)
    ret = jsonpath.jsonpath(obj, '$..company.name')
    print(ret)

-----网页抓包----

![1356963-20181119214613037-1480605695.png][]

通过观察，改变start后面数字，会出现不同的数据，第一页是0,第二页是60，依次递增，pagesize则是每一页出现多少条，最好不要改变

![1356963-20181119214720689-1104338583.png][]

将网页中的内容粘贴到在线json解析中，可以看到，这是一个标准的json数据，通过在线解析可以看到清晰的结构

![1356963-20181119215401736-2050096666.png][]

获取到的数据是一个json格式的字符串，需要使用jsonpath进行解析，获取里面的内容，图中选取了当前请求的公司名

![1356963-20181119215005421-700170672.png][]

转载于:https://www.cnblogs.com/ilovezzh/p/9986045.html

[1356963-20181119214613037-1480605695.png]: /images/20211223/7ac79a7683904ae0b175845483cf6d28.png
[1356963-20181119214720689-1104338583.png]: /images/20211223/9da6a37bde7b4532a79d8bf6e84e4d52.png
[1356963-20181119215401736-2050096666.png]: /images/20211223/b0827ceace034d8ba3272ea6add41ba4.png
[1356963-20181119215005421-700170672.png]: /images/20211223/e4a1c460ab0a4abd8e576d9173fd1237.png