Pyspark和MySQL建立连接，并插入数据

╰半夏微凉° 2022-12-02 10:56 247阅读 0赞

spark连接数据库在前面有提到过，在这里就不多说了，接下来就说下使用刚和大家讲过的pyspark连接数据库，以MySQL为例，确认已经安装好了MySQL数据库在windows系统和linux下，假设数据库名叫test,表名叫student,mysql驱动包可以到官网取下，也可以到本地maven库中去拷贝，这些都不是重点，重点是要把驱动包放哪？

**驱动存放位置**  
在Windows系统下放驱动包的地方已经和大家说过，其实在Linux系统下放驱动包的地方有点类似，也是找到安装jdk的目录，放在下面的\\jre\\lib\\ext目录下，而不是放在jar目录下。

先说下**在Linux系统下使用pyspark连接数据库**：  
如何安装pyspark前面已经和大家说过，还没安装过的可以再去看看[Pyspark简介及详细安装][Pyspark]，启动pyspark，后，打开jupyter进行操作

查询表student中的数据：

from pyspark.sql import SparkSession
    
    spark = SparkSession.builder.appName("test").master("local[*]").getOrCreate()
    
    spark.read.format("jdbc").options(
    url = "jdbc:mysql://192.168.5.150:3306/test?user=root&password=1234",dbtable=“student”
    ).load().show(5)

**在pycharm下使用pyspark连接数据库**

驱动包的存放位置我就不多说了，首先导pyspark的包，如何下载pyspark的包我就不多说了，前面也已经说过，下载好以后一样开始导包，并建立连接：

查询表student中的数据：

from pyspark.sql import SparkSession
    
    if __name__ == '__main__':   
        spark = SparkSession.builder.appName("test").master("local[*]").getOrCreate()
    	
        dt = spark.read.format("jdbc").options(
             url="jdbc:mysql://192.168.5.150:3306/test?user=root&password=1234", dbtable="student"
    
        ).load()
        dt.show(5)

**插入数据到MySQL**  
一样先导包：

from pyspark.sql.types import Row
    from pyspark.sql.types import StructType
    from pyspark.sql.types import StructField
    from pyspark.sql.types import StringType
    from pyspark.sql.types import IntegerType
    
    
    
    studentRDD = spark.sparkContext.parallelize(["3 zhangsanfeng M 21","4 lisi M 33"]).map(lambda line : line.split(" "))
    
    schema = StructType([
    		    StructField("name", StringType(), True),
    		    StructField("gender", StringType(), True),
    		    StructField("age",IntegerType(), True)
    		    ])
    
    rowRDD = studentRDD.map(lambda p : Row(p[1].strip(), p[2].strip(),int(p[3])))
    
    studentDF = spark.createDataFrame(rowRDD, schema)
    
    prop = { }
    prop['user'] = 'root'
    prop['password'] = '1234'
    prop['driver'] = "com.mysql.jdbc.Driver"
    studentDF.write.jdbc("jdbc:mysql://localhost:3306/test",'student','append', prop)

执行完上述程序后，在到MySQL数据库中查看，就能看到数据已经插入进来了。

**注意：**  
最关键的是，很多人都会犯一个错误，就是容易直接去下**mysql-connector-python**这个包，其实是没用的，必须要把加载的驱动放到前面所说的\\jre\\lib\\ext目录下才能生效，，已经入坑的朋友希望能帮你们脱坑！

[Pyspark]: https://blog.csdn.net/zp17834994071/article/details/108267232