python爬数据保存json_Python3编写网络爬虫09-数据存储方式二-JSON文件存储

一时失言乱红尘 2022-11-05 12:52 171阅读 0赞

2.JSON文件存储

全称为JavaScript Object Notation 通过对象和数组的组合来表示数据，构造简洁且结构化程度非常高。

是一种轻量级的数据交换格式

2.1 对象和数组

在JavaScript中 一切皆对象。 因此任何类型都可以通过json来表示，如 字符串，数字，对象，数组等

对象 ： 在JavaScript中使用｛｝括起来 数据结构为｛key1:value,key2:value2...｝的键值对结构

在面向对象中 key为对象的属性，value为对应的值，键名可以使用整数和字符串表示，值的类型可以是任意类型。

数组 ： 数组在JavaScript中使用方括号\[\] 括起来 数据结构为\["java","JavaScript","Python"...\]索引结构。

在JavaScript中数组是一种比较特殊的数据类型，可以像对象那样使用键值对，更多的是索引，值可以是任意类型。

示例：

\[\{"name" : "Bod","gender" : "male","birrhday" : "1992-10-19"\},\{"name" : "Selina","gender" : "female","birthday" : "1995-10-18"\}\]

JSON 可以是以上两种形式自由组合，无限次嵌套，结构清晰，数据交换的极佳方式。

2.2 读取JSON

Python为我们提供了简易的JSON库实现JSON文件的读写操作。

可以调用 loads()方法将JSON文本字符串转为JSON对象，

dumps() 方法将JSON对象转为文本字符串

示例：

importjson

str1= '''\[\{

"name" : "Bod",

"gender" : "male",

"birrhday" : "1992-10-19"

\},\{

"name" : "Selina",

"gender" : "female",

"birthday" : "1995-10-18"

\}\]'''

print(type(str1))\#str

data =json.loads(str1)print(data)print(type(data))\#list

通过索引来获取对应的内容 例如 第一个元素的name属性

print(data\[0\]\['name'\])print(data\[0\].get('name'))

推荐第二种方式 get()方法 如果键名不存在 不会报错 返回None 另外可以传入第二个参数 默认值

print(data\[0\].get('age'))print(data\[0\].get('age',20))

注意： JSON的数据需要用双引号括起来 不能使用单引号

示例：

importjson

str1= '''\[\{

'name' : 'Bod',

'gender' : 'male',

'birrhday' : '1992-10-19'

\},\{

'name' : 'Selina',

'gender' : 'female',

'birthday' : '1995-10-18'

\}\]'''data= json.loads('str1')

报错 解析错误

如何读取文本文件json内容

importjson

with open('data.json','r') as file:

str1=file.read()

data=json.loads(str1)print(data)

2.3 输出JSON

调用 dumps() 将JSON对象转化为字符串

示例：

importjson

data=\[\{"name" : "Bod","gender" : "male","birrhday" : "1992-10-19"\}\]

with open('data.json','w') as file:

file.write(json.dumps(data,indent=2))\#indent 缩进字符个数

如果JSON包含中文字符

示例：

importjson

data=\[\{"name" : "小米","gender" : "男","birrhday" : "1992-10-19"\}\]

with open('data.json','w') as file:

file.write(json.dumps(data,indent=2))\#indent 缩进字符个数

结果中文字符 变成了Unicode字符 需要指定参数 ensure\_ascii=False

示例：

importjson

data=\[\{"name" : "小米","gender" : "男","birrhday" : "1992-10-19"\}\]

with open('data.json','w') as file:

file.write(json.dumps(data,indent=2,ensure\_ascii=False))\#indent 缩进字符个数

后面做数据分析时会经常用到 需熟练掌握

发表评论取消回复

表情：

评论列表（有 0 条评论，171人围观）

还没有评论，来说两句吧...

相关阅读

相关 Python爬虫之数据存储

Python爬虫之数据存储 > 数据爬取后，如何存储呢，本文将讲解数据存储到excel、txt、数据库的常用操作 1.结果输出 > 这里的结果是直接print出来

朱雀/ 2023年01月02日 08:20/ 0 赞/ 157 阅读

相关 mysql存储json数据

构建表 create table json_user ( uid int auto_increment, data json, pr

向右看齐/ 2022年12月28日 00:48/ 0 赞/ 193 阅读

相关 python爬数据保存json_Python3编写网络爬虫09-数据存储方式二-JSON文件存储

2.JSON文件存储全称为JavaScript Object Notation 通过对象和数组的组合来表示数据，构造简洁且结构化程度非常高。是一种轻量级的数据交换格式

一时失言乱红尘/ 2022年11月05日 12:52/ 0 赞/ 172 阅读

相关 Python爬虫数据存哪里|数据存储到文件的几种方式

爬虫请求解析后的数据，需要保存下来，才能进行下一步的处理，一般保存数据的方式有如下几种：文件：txt、csv、excel、json等，保存数据量小。关系型数据

深碍√TFBOYSˉ_/ 2022年11月03日 04:11/ 0 赞/ 164 阅读

相关「数据分析师的网络爬虫」网络爬虫数据的存储MySQL和Mongodb

文章目录内容介绍存储Mysql应用实例存储Mongodb实例内容介绍开发环境为 Python3.6 ，爬虫项目全部内容索引目录 [看

Dear 丶/ 2022年10月16日 10:26/ 0 赞/ 182 阅读

相关 Scrapy网络爬虫实战[保存为Json文件及存储到mysql数据库]

本文博客为原创，未经本人允许，不得扒下来传到百度文库及相关平台。目录 Scrapy介绍 Scrapy建立新工程用Pycharm打开工程并编辑 i

系统管理员/ 2022年09月26日 02:47/ 0 赞/ 162 阅读

相关爬虫(三)存储数据

存储数据数据缓存通过前面的学习, 我们已经知道了如何从指定的页面中抓取数据, 以及如何保存抓取的结果, 但是我们没有考虑过这么一种情况, 就是我们可能需要从已经

r囧r小猫/ 2022年05月23日 05:09/ 0 赞/ 189 阅读

相关 python 存储json数据

本篇我们将学习简单的json数据的存储，首先我们需要引入json模块： import json 这里我们模拟一个常见常见，我们让用户输入用户名、密码，在密码输入完成

小咪咪/ 2022年05月17日 07:51/ 0 赞/ 204 阅读

相关数据存储-JSON文件处理

简介 JSON(JavaScript Object Notation, JS 对象标记) 是一种轻量级的数据交换格式。它基于 ECMAScript (欧洲计算机协会制定的

清疚/ 2022年03月25日 15:06/ 0 赞/ 259 阅读

相关（完整）爬取数据存储之TXT、JSON、CSV存储

一、文件存储 1. TXT文本存储例：知乎发现页面，获得数据存成TXT文本 import requests from pyquery import Py

爱被打了一巴掌/ 2021年12月17日 06:05/ 0 赞/ 256 阅读