数据之路 - Python爬虫 - Json模块与JsonPath

柔情只为你懂 2023-06-02 11:53 69阅读 0赞

# 一、什么是Json？ #

json简单说就是javascript中的对象和数组，所以这两种结构就是对象和数组两种结构，通过这两种结构可以表示各种复杂的结构。

*  对象：对象在js中表示为`{ }`括起来的内容，数据结构为 `{ key：value, key：value, ... }`的键值对的结构，在面向对象的语言中，key为对象的属性，value为对应的属性值，所以很容易理解，取值方法为 对象.key 获取属性值，这个属性值的类型可以是数字、字符串、数组、对象这几种。

*  数组：数组在js中是中括号`[ ]`括起来的内容，数据结构为 `["Python", "javascript", "C++", ...]`，取值方式和所有语言中一样，使用索引获取，字段值的类型可以是 数字、字符串、数组、对象几种。

# 二、Json基础功能 #

json模块提供了四个功能：`dumps`、`dump`、`loads`、`load`，用于字符串 和 python数据类型间进行转换。

## 1.json.loads() ##

把Json格式字符串解码转换成Python对象 从json到python的类型转化对照如下：

![1489220-20190803114801365-358723683.png][]

# json_loads.py
    
    import json
    
    strList = '[1, 2, 3, 4]'
    
    strDict = '{"city": "北京", "name": "大猫"}'
    
    json.loads(strList) 
    # [1, 2, 3, 4]
    
    json.loads(strDict) # json数据自动按Unicode存储
    # {u'city': u'\u5317\u4eac', u'name': u'\u5927\u732b'}

## 2.json.dumps() ##

实现python类型转化为json字符串，返回一个str对象 把一个Python对象编码转换成Json字符串

从python原始类型向json类型的转化对照如下：

![1489220-20190803114901144-1422047713.png][]

# json_dumps.py
    
    import json
    import chardet
    
    listStr = [1, 2, 3, 4]
    tupleStr = (1, 2, 3, 4)
    dictStr = {
        "city": "北京", "name": "大猫"}
    
    json.dumps(listStr)
    # '[1, 2, 3, 4]'
    json.dumps(tupleStr)
    # '[1, 2, 3, 4]'
    
    # 注意：json.dumps() 序列化时默认使用的ascii编码
    # 添加参数 ensure_ascii=False 禁用ascii编码，按utf-8编码
    # chardet.detect()返回字典, 其中confidence是检测精确度
    
    json.dumps(dictStr) 
    # '{"city": "\\u5317\\u4eac", "name": "\\u5927\\u5218"}'
    
    chardet.detect(json.dumps(dictStr))
    # {'confidence': 1.0, 'encoding': 'ascii'}
    
    print json.dumps(dictStr, ensure_ascii=False) 
    # {"city": "北京", "name": "大刘"}
    
    chardet.detect(json.dumps(dictStr, ensure_ascii=False))
    # {'confidence': 0.99, 'encoding': 'utf-8'}

## 3.json.dump() ##

将Python内置类型序列化为json对象后写入文件

# json_dump.py
    
    import json
    
    listStr = [{
        "city": "北京"}, {
        "name": "大刘"}]
    json.dump(listStr, open("listStr.json","w"), ensure_ascii=False)
    
    dictStr = {
        "city": "北京", "name": "大刘"}
    json.dump(dictStr, open("dictStr.json","w"), ensure_ascii=False)

## 4.json.load() ##

读取文件中json形式的字符串元素 转化成python类型

# json_load.py
    
    import json
    
    strList = json.load(open("listStr.json"))
    print strList
    
    # [{u'city': u'\u5317\u4eac'}, {u'name': u'\u5927\u5218'}]
    
    strDict = json.load(open("dictStr.json"))
    print strDict
    # {u'city': u'\u5317\u4eac', u'name': u'\u5927\u5218'}

# 三、JsonPath #

## 1.JsonPath规则 ##

<table> 
 <thead> 
  <tr> 
   <th style="text-align:left;">XPath</th> 
   <th style="text-align:left;">JSONPath</th> 
   <th style="text-align:left;">描述</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td style="text-align:left;"><code>/</code></td> 
   <td style="text-align:left;"><code>$</code></td> 
   <td style="text-align:left;">根节点</td> 
  </tr> 
  <tr> 
   <td style="text-align:left;"><code>.</code></td> 
   <td style="text-align:left;"><code>@</code></td> 
   <td style="text-align:left;">现行节点</td> 
  </tr> 
  <tr> 
   <td style="text-align:left;"><code>/</code></td> 
   <td style="text-align:left;"><code>.</code>or<code>[]</code></td> 
   <td style="text-align:left;">取子节点</td> 
  </tr> 
  <tr> 
   <td style="text-align:left;"><code>..</code></td> 
   <td style="text-align:left;">n/a</td> 
   <td style="text-align:left;">取父节点，Jsonpath未支持</td> 
  </tr> 
  <tr> 
   <td style="text-align:left;"><code>//</code></td> 
   <td style="text-align:left;"><code>..</code></td> 
   <td style="text-align:left;">就是不管位置，选择所有符合条件的条件</td> 
  </tr> 
  <tr> 
   <td style="text-align:left;"><code>*</code></td> 
   <td style="text-align:left;"><code>*</code></td> 
   <td style="text-align:left;">匹配所有元素节点</td> 
  </tr> 
  <tr> 
   <td style="text-align:left;"><code>@</code></td> 
   <td style="text-align:left;">n/a</td> 
   <td style="text-align:left;">根据属性访问，Json不支持，因为Json是个Key-value递归结构，不需要。</td> 
  </tr> 
  <tr> 
   <td style="text-align:left;"><code>[]</code></td> 
   <td style="text-align:left;"><code>[]</code></td> 
   <td style="text-align:left;">迭代器标示（可以在里边做简单的迭代操作，如数组下标，根据内容选值等）</td> 
  </tr> 
  <tr> 
   <td style="text-align:left;">|</td> 
   <td style="text-align:left;"><code>[,]</code></td> 
   <td style="text-align:left;">支持迭代器中做多选。</td> 
  </tr> 
  <tr> 
   <td style="text-align:left;"><code>[]</code></td> 
   <td style="text-align:left;"><code>?()</code></td> 
   <td style="text-align:left;">支持过滤操作.</td> 
  </tr> 
  <tr> 
   <td style="text-align:left;">n/a</td> 
   <td style="text-align:left;"><code>()</code></td> 
   <td style="text-align:left;">支持表达式计算</td> 
  </tr> 
  <tr> 
   <td style="text-align:left;"><code>()</code></td> 
   <td style="text-align:left;">n/a</td> 
   <td style="text-align:left;">分组，JsonPath不支持</td> 
  </tr> 
 </tbody> 
</table>

## 2.实例 ##

# jsonpath_lagou.py
    
    import urllib2
    import jsonpath
    import json
    import chardet
    
    url = 'http://www.lagou.com/lbs/getAllCitySearchLabels.json'
    request =urllib2.Request(url)
    response = urllib2.urlopen(request)
    html = response.read()
    
    # 把json格式字符串转换成python对象
    jsonobj = json.loads(html)
    
    # 从根节点开始，匹配name节点
    citylist = jsonpath.jsonpath(jsonobj,'$..name')
    
    print citylist
    print type(citylist)
    fp = open('city.json','w')
    
    content = json.dumps(citylist, ensure_ascii=False)
    print content
    
    fp.write(content.encode('utf-8'))
    fp.close()

注意事项：

##字符串编码转换
    
    这是中国程序员最苦逼的地方，什么乱码之类的几乎都是由汉字引起的。
    其实编码问题很好搞定，只要记住一点：
    
    ####任何平台的任何编码 都能和 Unicode 互相转换
    
    UTF-8 与 GBK 互相转换，那就先把UTF-8转换成Unicode，再从Unicode转换成GBK，反之同理。
    
    # 这是一个 UTF-8 编码的字符串
    utf8Str = "你好地球"
    
    # 1. 将 UTF-8 编码的字符串 转换成 Unicode 编码
    unicodeStr = utf8Str.decode("UTF-8")
    
    # 2. 再将 Unicode 编码格式字符串 转换成 GBK 编码
    gbkData = unicodeStr.encode("GBK")
    
    # 3. 再将 GBK 编码格式字符串 转化成 Unicode
    unicodeStr = gbkData.decode("gbk")
    
    # 4. 再将 Unicode 编码格式字符串转换成 UTF-8
    utf8Str = unicodeStr.encode("UTF-8")

转载于:https://www.cnblogs.com/Iceredtea/p/11294362.html

[1489220-20190803114801365-358723683.png]: /images/20230601/f924669b47b74e2e995dac0bd10eec0a.png
[1489220-20190803114901144-1422047713.png]: /images/20230601/c1c56b2664e64b3bbdf3ad7944924e27.png