Python3 爬取Ajax加载的网页信息

客官°小女子只卖身不卖艺 2022-05-09 05:33 211阅读 0赞

url：[http://www.kfc.com.cn/kfccda/storelist/index.aspx][http_www.kfc.com.cn_kfccda_storelist_index.aspx]

#coding=utf-8
    import re
    import time
    import requests
    from requests.exceptions import RequestException
    
    def getHtml(url,page):
        try:
            headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:56.0) Gecko/20100101 Firefox/56.0'}     #伪装一下
            data = {
                "cname":"深圳",
                "pageIndex":page,
                "pageSize":10,
                "pid":"",
                }
            response = requests.post(url,headers = headers,data = data).json()
            return response
        except RequestException:
            return None
    
    if __name__=='__main__':
        url = "http://www.kfc.com.cn/kfccda/ashx/GetStoreList.ashx?op=cname"
        for page in range(1,10):
            Html = getHtml(url,page)
            data = Html.get('Table1')
            for info in data:
                print (info['storeName'] + '\t' + info['addressDetail'])
            time.sleep(1)

欢迎关注本人微信公众号,会分享更多的干货:

![20200607142700196.png][]

[http_www.kfc.com.cn_kfccda_storelist_index.aspx]: http://www.kfc.com.cn/kfccda/storelist/index.aspx
[20200607142700196.png]: /images/20220509/a60727a40f46411eb16cab99dd1d7296.png

发表评论取消回复

表情：

评论列表（有 0 条评论，211人围观）

还没有评论，来说两句吧...

相关阅读

相关 Python爬取网页内容

import urllib.request url = "https://blog.csdn.net/zhangphil" response

浅浅的花香味﹌/ 2024年02月19日 17:17/ 0 赞/ 68 阅读

相关学习python爬取网页

新手学习python爬取网页先用下面4个库就够了：（第4个是实在搞不定用的，当然某些特殊情况它也可能搞不定） 1. 打开网页，下载文件：urllib 2

柔情只为你懂/ 2022年07月14日 09:21/ 0 赞/ 303 阅读

相关 Python3 爬取Ajax加载的网页信息

url：[http://www.kfc.com.cn/kfccda/storelist/index.aspx][http_www.kfc.com.cn_kfccda_store

客官°小女子只卖身不卖艺/ 2022年05月09日 05:33/ 0 赞/ 212 阅读

相关 Python3 Ajax加载的网页爬取

url：今日头条，搜索“街拍”并打开 [https://www.toutiao.com/search/?keyword=%E8%A1%97%E6%8B%8D][https_w

浅浅的花香味﹌/ 2022年05月09日 05:33/ 0 赞/ 209 阅读

相关 Python爬取网页的图片数据

本案例是基于PyCharm开发的，也可以使用idea。 [在项目内新建一个python文件TestCrawlers.py][python_TestCrawlers.py]

你的名字/ 2022年04月18日 06:29/ 0 赞/ 321 阅读

相关 Python爬取整个网页的数据

本案例是基于PyCharm开发的，也可以使用idea。 [在项目内新建一个python文件Test.py][python_Test.py] [Test.py][]

淩亂°似流年/ 2022年04月17日 05:19/ 0 赞/ 464 阅读

相关 python爬虫爬取异步加载网页信息（python抓取网页中无法通过网页标签属性抓取的内容）

1.问题描述最近由于学习内容的要求，需要从网页上抓取一些数据来做分析报告，在看了python爬虫的一些基础知识之后就直接上手去网站上爬数据了。作为新手踩坑是无法避免，最

淩亂°似流年/ 2022年04月16日 05:46/ 0 赞/ 1123 阅读

相关 python使用selenium爬取js加密的网页

python使用selenium爬取js加密的网页我们经常使用Python从网站上爬取我们喜欢的图片，比如从煎蛋网爬取妹子图。现在虽然煎蛋网取消了“OOXX”栏目，但是

r囧r小猫/ 2022年04月04日 03:10/ 0 赞/ 708 阅读

相关 python爬取异步加载的页面的信息

假如某些页面是异步加载他是异步js加载出来的，目的想要拿到这些的url得时候，方法两种。 ![watermark_type_ZmFuZ3poZW5naGVpdGk_shado

客官°小女子只卖身不卖艺/ 2022年03月16日 10:08/ 0 赞/ 181 阅读

相关 Python 3爬取全国高校基本信息

最近接了一个单子，是爬取全国高校的基本信息，高校名字，高校层次，高校地区，招生办电话，招生办官网~ 镇楼图如下： ![watermark_type_ZmFuZ3poZW5n

布满荆棘的人生/ 2021年12月03日 02:51/ 0 赞/ 534 阅读