Python之使用Pandas库实现MySQL数据库的读写

た入场券 2022-05-28 13:12 210阅读 0赞

本次分享将介绍如何在Python中使用Pandas库实现MySQL数据库的读写。首先我们需要了解点ORM方面的知识。

## ORM技术 ##

对象关系映射技术，即ORM（Object-Relational Mapping）技术，指的是把关系数据库的表结构映射到对象上，通过使用描述对象和数据库之间映射的元数据，将程序中的对象自动持久化到关系数据库中。  
  在Python中，最有名的ORM框架是SQLAlchemy。Java中典型的ORM中间件有:Hibernate,ibatis,speedframework。

## SQLAlchemy ##

SQLAlchemy是Python编程语言下的一款开源软件。提供了SQL工具包及对象关系映射（ORM）工具，使用MIT许可证发行。  
  可以使用pip命令安装SQLAlchemy模块：

pip install sqlalchemy

SQLAlchemy模块提供了create\_engine()函数用来初始化数据库连接，SQLAlchemy用一个字符串表示连接信息：

> ‘数据库类型+数据库驱动名称://用户名:口令@机器地址:端口号/数据库名’

## Pandas读写MySQL数据库 ##

我们需要以下三个库来实现Pandas读写MySQL数据库：

*  pandas
 *  sqlalchemy
 *  pymysql

其中，pandas模块提供了read\_sql\_query（）函数实现了对数据库的查询，to\_sql（）函数实现了对数据库的写入，并不需要实现新建MySQL数据表。sqlalchemy模块实现了与不同数据库的连接，而pymysql模块则使得Python能够操作MySQL数据库。  
  我们将使用MySQL数据库中的mydb数据库以及employee表，内容如下：

![mydb数据库以及employee表][mydb_employee]

下面将介绍一个简单的例子来展示如何在pandas中实现对MySQL数据库的读写：

# -*- coding: utf-8 -*-
    
    # 导入必要模块
    import pandas as pd
    from sqlalchemy import create_engine
    
    # 初始化数据库连接，使用pymysql模块
    # MySQL的用户：root, 密码:147369, 端口：3306,数据库：mydb
    engine = create_engine('mysql+pymysql://root:147369@localhost:3306/mydb')
    
    # 查询语句，选出employee表中的所有数据
    sql = ''' select * from employee; '''
    
    # read_sql_query的两个参数: sql语句， 数据库连接
    df = pd.read_sql_query(sql, engine)
    
    # 输出employee表的查询结果
    print(df)
    
    # 新建pandas中的DataFrame, 只有id,num两列
    df = pd.DataFrame({
       'id':[1,2,3,4],'num':[12,34,56,89]})
    
    # 将新建的DataFrame储存为MySQL中的数据表，不储存index列
    df.to_sql('mydf', engine, index= False)
    
    print('Read from and write to Mysql table successfully!')

程序的运行结果如下：

![程序的运行结果][70]  
  
  在MySQL中查看mydf表格：  
  
![mydf表格][mydf]  
  
这说明我们确实将pandas中新建的DataFrame写入到了MySQL中！

## 将CSV文件写入到MySQL中 ##

以上的例子实现了使用Pandas库实现MySQL数据库的读写，我们将再介绍一个实例：将CSV文件写入到MySQL中，示例的mpg.CSV文件前10行如下：

![mpg.CSV文件前10行][mpg.CSV_10]  
  
示例的Python代码如下：

# -*- coding: utf-8 -*-
    
    # 导入必要模块
    import pandas as pd
    from sqlalchemy import create_engine
    
    # 初始化数据库连接，使用pymysql模块
    engine = create_engine('mysql+pymysql://root:147369@localhost:3306/mydb')
    
    # 读取本地CSV文件
    df = pd.read_csv("E://mpg.csv", sep=',')
    
    # 将新建的DataFrame储存为MySQL中的数据表，不储存index列
    df.to_sql('mpg', engine, index= False)
    
    print("Write to MySQL successfully!")

在MySQL中查看mpg表格：

![MySQL中的mpg表格][MySQL_mpg]  
  
仅仅5句Python代码就实现了将CSV文件写入到MySQL中，这无疑是简单、方便、迅速、高效的！

## 总结 ##

本文主要介绍了ORM技术以及SQLAlchemy模块，并且展示了两个Python程序的实例，介绍了如何使用Pandas库实现MySQL数据库的读写。程序本身并不难，关键在于多多练习。  
  本次分享到此结束，欢迎大家多多交流~~

[mydb_employee]: /images/20220528/a678fc1fc4fd46e2802bd52b395ad13b.png
[70]: /images/20220528/708a7433cb2a41288686722ff444fd56.png
[mydf]: /images/20220528/2072dc95cb764d879f3cf3a474d85f15.png
[mpg.CSV_10]: /images/20220528/ac8070778caa45a1804a9ae51252faa9.png
[MySQL_mpg]: /images/20220528/2be2871f32e14912bdc4d0008e6283ab.png

发表评论取消回复

表情：

评论列表（有 0 条评论，210人围观）

还没有评论，来说两句吧...

相关阅读

相关 Mysql 实现数据库读写分离

搭建3台MySQL服务器，完成主从复制，搭建一台amoeba服务器，完成MySQL的读写分离 ![37b08c7e2561018441adc91b87b6ee1b.p

雨点打透心脏的1/2处/ 2024年03月16日 20:51/ 0 赞/ 54 阅读

相关 Pandas 读写excel、读写数据库MySQL

![20191009191333910.png][] [日萌社][Link 1] [人工智能AI：Keras PyTorch MXNet TensorFlow Pa

雨点打透心脏的1/2处/ 2023年07月06日 06:24/ 0 赞/ 109 阅读

相关 Python，pandas与sqlalchemy读写sql数据库

from sqlalchemy import create_engine import pymysql import pandas as pd

Love The Way You Lie/ 2022年12月29日 04:40/ 0 赞/ 188 阅读

相关 python pandas 读写 minio 的 parquet

文章大纲 parquet 简介 python 操作minio 的包 s3fs minio 处理parquet py

以你之姓@/ 2022年09月17日 03:13/ 0 赞/ 193 阅读

相关 Python之使用Pandas库实现MySQL数据库的读写

本次分享将介绍如何在Python中使用Pandas库实现MySQL数据库的读写。首先我们需要了解点ORM方面的知识。 ORM技术对象关系映射技术，即ORM（O

た入场券/ 2022年05月28日 13:12/ 0 赞/ 211 阅读

相关 Python数据分析（4）pandas库的使用：数据的读写

函数一览表： ![20180609151227167][] coding=gbk pandas数据读写 1csv和文本文件的读取 impor

怼烎@/ 2022年05月23日 13:09/ 0 赞/ 173 阅读

相关 mysql（6）- mysql数据库之读写分离

知识点： 1. 读写分离的作用 2. 实现方式：解决读写分离的方案有两种 1. 应用层解决： 1. 第一种方式是我

比眉伴天荒/ 2022年04月17日 04:11/ 0 赞/ 270 阅读

相关 SSM实现Mysql数据库的读写分离

目录搭建Mysql的主从配置代码层的读写分离 1.创建 DyncmicDat

灰太狼/ 2022年04月08日 12:23/ 0 赞/ 262 阅读

相关 Pandas 库中excel的读写方法介绍

首选：https://blog.csdn.net/u014597198/article/details/83104653 其次：https://blog.csdn.ne

迷南。/ 2021年12月15日 13:49/ 0 赞/ 250 阅读

相关 python Pandas文件读写

![1722024-20190724162149699-1118312825.png][] ![1722024-20190724162157242-406347787.png

- 日理万妓/ 2021年11月23日 12:20/ 0 赞/ 294 阅读