Python3: CSV 表格文件的解析与读写

朴灿烈づ我的快乐病毒、 2021-09-22 00:26 336阅读 0赞

本文链接: [https://xiets.blog.csdn.net/article/details/117604917][https_xiets.blog.csdn.net_article_details_117604917]

[Python3 学习笔记（目录）][Python3]

# 1. `csv` 模块 #

CSV (Comma Separated Values)，逗号分隔值 文件格式，其文件以纯文本的形式存储表格数据（数字和文本）。CSV 一般以换行符分隔每行数据，每行数据以逗号分隔多个字段值。

`csv` 模块实现了 CSV 格式的表格数据的读写。

Python 官网文档：[csv — CSV 文件读写][csv _ CSV]

`csv` 模块主要的方法了类：

# 返回一个 CSV 文件的 reader 对象, <class '_csv.reader'>。
    # csvfile 可以是任何可迭代对象, 只要迭代的元素为字符串 (一行 CSV 数据)。
    # 每行数据以 由字段值组成的字符串列表 的形式迭代读取。
    csv.reader(csvfile, dialect='excel', **fmtparams)
    
    
    # 返回一个 CSV 文件的 writer 对象 <class '_csv.writer'>。
    # csvfile 可以是具有 write() 方法的任意对象。
    # 每行数据通过 writerow() 方法以 由字段值组成的字符串列表 的形式写入。
    csv.writer(csvfile, dialect='excel', **fmtparams)

以 dtic(字典) 的形式读写 CSV 文件：

# 创建一个 CSV 文件读取对象, f 为已用文本方式打开的可读 csv 文件。
    #
    # 该对象操作上与常规的 reader 类似，但将每一行数据都映射为一个 dict,
    # 该 dict 的字段名由 fieldnames 字符串列表/序列 给出,
    # 如果 fieldnames=None 则文件 f 的第一行中的值作为字段名。
    #
    # 如果某行中的 字段值 多于 fieldnames, 则剩余字段值被放入一个列表中, 并以 restKey 的值作为 key 保存到 dict。
    # 如果某行中的 字段值 少于 fieldnames, 则剩余字段的值使用 restval 的值来填充。
    #
    class csv.DictReader(f, fieldnames=None, restkey=None, restval=None, dialect='excel', *args, **kwds)
    
    
    # 创建一个 CSV 文件写入对象, f 为已用文本方式打开的可写 csv 文件。
    # 该对象操作上与常规的 writer 类似，但会将 dict 映射到输出行。
    #
    # fieldnames 为 字符串列表/序列, 用做表格的表头（第一行数据）。
    #
    # 每行数据通过 dict 的形式以 fieldnames 中的字段名顺序传递给 writerow() 方法写入。
    #
    # 如果传递给 writerow() 的 dict 缺少 fieldnames 中的键 (dict 中有数据缺失), 
    # 则使用 restval 的值作为字段值。
    #
    # 如果传递给 writerow() dict 的某个键在 fieldnames 中找不到 (dict 中有多余数据), 
    # 则根据 extrasaction 参数值决定要执行的操作, 
    # 即 extrasaction='raise' 则抛出 ValueError, extrasaction='ignore' 则忽略。
    # 
    # 注意: 与 DictReader 不同, DictWriter 中的 fieldnames 是必选参数。
    #
    class csv.DictWriter(f, fieldnames, restval='', extrasaction='raise', dialect='excel', *args, **kwds)

# 2. 读取 CSV 文件 #

一个测试的 CSV 文件：`demo.csv`

name,price,desc
    Python,30.00,Python Book
    Java,48.99,Java'Development
    C,89,"Hello,World,""C"""
    你好,,世界

一行字符串为一行数据（不考虑字段值中有’\\n’），每行数据以 `,` 分隔。如果字段值中有 `,` 或 `"` 字符，则该字段值需要使用双引号 `"value"` 引起来，字段两边的双引号不会被解析为字段值的一部分，字段值中如果需要使用 `"` 字符，需要添加多一个 `"` 用于转义，即字段值中两个双引号 `""` 解析时表示一个双引号 `"`。逗号分隔符两边空格默认会解析为字段值的一部分，空白行也会解析为一行（最后一行的’\\n’不算）。

上面文件解析成表格如下：

![csv][]

## 2.1 `csv.reader()` 读取 CSV 文件 ##

import csv
    
    with open("demo.csv", "rt") as csvfile:
        reader = csv.reader(csvfile)
        for row in reader:          # 迭代读取所有行数据
            print(row)              # row 为列表类型: ['value1', 'value2', ...]

输出：

['name', 'price', 'desc']
    ['Python', '30.00', 'Python Book']
    ['Java', '48.99', "Java'Development"]
    ['C', '89', 'Hello,World,"C"']
    ['你好', '', '世界']

## 2.2 `csv.DictReader` 读取 CSV 文件 ##

import csv
    
    with open("demo.csv", "rt") as csvfile:
        reader = csv.DictReader(csvfile)
        print(reader.fieldnames)    # 读取第一行表头, 列表类型: ['name1', ...]
        for row in reader:          # 迭代读取除第一行表头外的其他所有行数据
            print(row)              # row 为字典类型: {'name1': 'value1', ...}

输出：

['name', 'price', 'desc']
    { 'name': 'Python', 'price': '30.00', 'desc': 'Python Book'}
    { 'name': 'Java', 'price': '48.99', 'desc': "Java'Development"}
    { 'name': 'C', 'price': '89', 'desc': 'Hello,World,"C"'}
    { 'name': '你好', 'price': '', 'desc': '世界'}

# 3. 写入 CSV 文件 #

## 3.1 `csv.writer()` 写入 CSV 文件 ##

import csv
    
    with open("demo2.csv", "wt") as csvfile:
        writer = csv.writer(csvfile)
        
        writer.writerow(["name", "price", "desc"])
        writer.writerow(["Python", "88.99", "Hello Python"])
        
        # 写入包含特殊字符的字段值
        writer.writerow(["Java", "1234", " Java\nWorld 'AB',CD,EF\"XYZ\" "])
        
        rows = [
            ["Hello", None, "World"],   # None 将被解析为空字符串 ''
            ["你好", "1000", "世界"]
        ]
        writer.writerows(rows)          # 写入多行

`demo2.csv` 文件内容：

name,price,desc
    Python,88.99,Hello Python
    Java,1234," Java
    World 'AB',CD,EF""XYZ"" "
    Hello,,World
    你好,1000,世界

## 2.2 `csv.DictWriter` 写入 CSV 文件 ##

import csv
    
    
    with open("demo3.csv", "rt") as csvfile:
        reader = csv.reader(csvfile)
        for row in reader:
            print(row)
    
    
    with open("demo2.csv", "wt") as csvfile:
        # 定义表头字段, 创建 CSV 文件写入对象
        fieldnames = ["name", "price", "desc"]
        writer = csv.DictWriter(csvfile, fieldnames)
    
        # 写入第一行表头数据（必须最先写入）
        # 根据创建 writer 时传入的 fieldnames 列表写入
        writer.writeheader()
    
        # 写一行（根据 fieldnames 中的字段名排序）
        writer.writerow(
            { 
                "name": "Python",
                "price": "99.88",
                "desc": "Hello Python",
            }
        )
    
        # 写入多行（根据 fieldnames 中的字段名排序）
        rows = [
            { 
                "name": "Java",
                "price": "98.68",
                "desc": "Hello Java",
            },
            { 
                "name": "C",
                "price": "1000",
                "desc": "Hello C",
            }
        ]
        writer.writerows(rows)

`demo3.csv` 文件内容：

name,price,desc
    Python,99.88,Hello Python
    Java,98.68,Hello Java
    C,1000,Hello C

# 4. 使用 `pandas` 读写 CSV 文件 #

`pandas` 是一个开源的，易于使用的数据结构和数据分析工具。

Pandas 官方链接:

*  Pandas 官网: [https://pandas.pydata.org/][https_pandas.pydata.org]
 *  Pandas 用户指南: [https://pandas.pydata.org/pandas-docs/stable/user\_guide/][https_pandas.pydata.org_pandas-docs_stable_user_guide]
 *  Pandas 文档: [https://pandas.pydata.org/docs/][https_pandas.pydata.org_docs]
 *  Pandas API: [https://pandas.pydata.org/pandas-docs/stable/reference/][https_pandas.pydata.org_pandas-docs_stable_reference]
 *  Pandas GitHub: [https://github.com/pandas-dev/pandas][https_github.com_pandas-dev_pandas]

Pandas 其他相关链接:

*  Pandas 中文: [https://www.pypandas.cn][https_www.pypandas.cn]
 *  菜鸟教程: [https://www.runoob.com/pandas/pandas-tutorial.html][https_www.runoob.com_pandas_pandas-tutorial.html]

安装 pandas：

pip3 install pandas

一个测试的 CSV 文件：`demo4.csv`

name,price,desc
    Python,30.00,Python Book
    Java,48.99,

只做简单演示：

>>> import pandas as pd
    >>> df = pd.read_csv("demo.csv")
    >>> df
         name   price         desc
    0  Python   30.00  Python Book
    1    Java   48.99   Hello Java
    2       C  100.00      C World
    >>> df.loc[0]
    name          Python
    price           30.0
    desc     Python Book
    Name: 0, dtype: object
    >>> df.loc[0]["name"]
    'Python'
    >>> df.loc[0][0]
    'Python'
    >>> df.loc[0]["price"]
    30.0
    >>> df.to_csv("demo5.csv", index=False)

[https_xiets.blog.csdn.net_article_details_117604917]: https://xiets.blog.csdn.net/article/details/117604917
[Python3]: https://xiets.blog.csdn.net/article/details/109266600
[csv _ CSV]: https://docs.python.org/zh-cn/3/library/csv.html
[csv]: /images/20210920/2bdea5dd3d454ac790d48ffc2a50c178.png
[https_pandas.pydata.org]: https://pandas.pydata.org/
[https_pandas.pydata.org_pandas-docs_stable_user_guide]: https://pandas.pydata.org/pandas-docs/stable/user_guide/
[https_pandas.pydata.org_docs]: https://pandas.pydata.org/docs/
[https_pandas.pydata.org_pandas-docs_stable_reference]: https://pandas.pydata.org/pandas-docs/stable/reference/
[https_github.com_pandas-dev_pandas]: https://github.com/pandas-dev/pandas
[https_www.pypandas.cn]: https://www.pypandas.cn
[https_www.runoob.com_pandas_pandas-tutorial.html]: https://www.runoob.com/pandas/pandas-tutorial.html