Python json 数据提取 jsonpath 详解

Bertha 。 2023-10-09 16:15 44阅读 0赞

### **一、JsonPath** ###

JsonPath 是**一种信息抽取类库**，是从JSON文档中抽取指定信息的工具，提供多种语言实现版本，包括：Javascript, Python， PHP 和 Java。也就是独立的可以配合多种语言进行匹配的目标值的一种类库，和jmeter中的jsonPath匹配方式很像(具体参考此文章：[https://www.cnblogs.com/Zhan-W/p/10985816.html ][https_www.cnblogs.com_Zhan-W_p_10985816.html])。优点之一： **数据可以通过交互方式从客户端上的JSON结构提取，不需要特殊的脚本**。

### 二、JsonPath特性 ###

> 1.  只能提取json格式的数据
> 2.  提取后的数据类型与原数据类型一致

### 三、 JsonPath安装 ###

> pip install jsonpath -i https://pypi.doubanio.com/simple

### 四、 JsonPath 语法元素 ###

**官方文档：**[JSONPath - XPath for JSON][]

![cb6502deafca4356b9d7f28eee3c9110.png][]

### 过滤表达式 ###

![4cb937d2e5024cb0b1a78b6d44fc3cc1.png][]

### 五、 JsonPath 使用 ###

import requests
    import json
    import jsonpath
    
    
    if __name__ == '__main__':
        # 1.确认目标url
        url_ = 'https://www.lagou.com/lbs/getAllCitySearchLabels.json'
    
        # 用户代理的代理
        headers_ = {
            'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/98.0.4758.102 Safari/537.36'
        }
    
        # 2.发送网络请求，获取响应对象
        response_ = requests.get(url_, headers=headers_)
    
        #获取python格式，自动类型转换
        py_data=response_.json() # json()这是一个方法
        print(type(py_data),py_data)
    
        # $：根元素
        #（1）获取所有城市名称
        names=jsonpath.jsonpath(py_data,'$..name')
        print(len(names),names)
    
        # .or []：子元素
        #（2）获取所有城市中按字母分类的第一个城市的所有信息
        res=jsonpath.jsonpath(py_data,"$..allCitySearchLabels.*[:1]")
        print(len(res),res)
    
        # [, ]：支持迭代器中做多选，多个key用逗号隔开
        #（3）获取A字母的城市名和父城市id
        res=jsonpath.jsonpath(py_data,"$..A.[name,parentId]")
        print(len(res),res)
    
        #（4）获取B字母的城市下的第0个和第16个城市信息
        res=jsonpath.jsonpath(py_data,"$..B[0,16]")
        print(len(res),res)
    
        # [start：end：step]：数组分割操作，等同于切片, 遵循左闭右开原则
        #（5）获取B字母的城市下的前2个城市信息
        res=jsonpath.jsonpath(py_data,"$..B[:2]")
        print(len(res),res)
    
    
        # ?()：应用过滤表示式
        #（6）获取B字母的城市下的id编号大于850的信息
        res=jsonpath.jsonpath(py_data,"$..B.[?(@.id>850)]")
        print(len(res),res)
    
        # == ：等于
        # （7）查询城市是福州的城市信息
        res = jsonpath.jsonpath(py_data, "$..*[?(@.name=='福州')]")
        print(len(res), res)
    
        # in ：所属符号
        # （8）查询城市是杭州，北京，天津的城市信息
        res = jsonpath.jsonpath(py_data, "$..*[?(@.name in ['杭州','北京','天津'])]")
        print(len(res), res)
    
        # （8）查询城市是杭州，北京，天津的code信息
        res = jsonpath.jsonpath(py_data, "$..*[?(@.name in ['杭州','北京','天津'])].code")
        print(len(res), res)
    
        # not in ：排除符号
        # （9）查询城市不是杭州，北京，天津的城市信息
        res = jsonpath.jsonpath(py_data, "$..*[?(@.name not in ['杭州','北京','天津'])]")
        print(len(res), res)
    
    
       # &&：逻辑AND，用于合并多个过滤器表达式
       #  （10）查询城市是杭州,并且ID是653的城市信息
        res = jsonpath.jsonpath(py_data, "$..*[?(@.name =='杭州' && @.id==653)]")
        print(len(res), res)
    
    
        # || 逻辑OR，用于组合多个过滤器表达式
        # （11）查询城市是杭州, 或者ID大于1000的城市信息
        res = jsonpath.jsonpath(py_data, "$..*[?(@.name =='杭州' || @.id>1000)]")
        print(len(res), res)

![e01b8db93337419ebaea208a5b2246e0.png][]

[https_www.cnblogs.com_Zhan-W_p_10985816.html]: https://www.cnblogs.com/Zhan-W/p/10985816.html
[JSONPath - XPath for JSON]: http://goessner.net/articles/JsonPath
[cb6502deafca4356b9d7f28eee3c9110.png]: https://img-blog.csdnimg.cn/cb6502deafca4356b9d7f28eee3c9110.png
[4cb937d2e5024cb0b1a78b6d44fc3cc1.png]: https://img-blog.csdnimg.cn/4cb937d2e5024cb0b1a78b6d44fc3cc1.png
[e01b8db93337419ebaea208a5b2246e0.png]: https://img-blog.csdnimg.cn/e01b8db93337419ebaea208a5b2246e0.png