spark sql jdbc mysql_Spark-SQL 读写jdbc

绝地灬酷狼 2022-11-05 15:56 187阅读 0赞

![2c44e9713322cc9c61ddedfe56fdf806.png][]

读jdbc中的信息

import java.util.Properties

import org.apache.spark.sql.\{DataFrame, SparkSession\}

object CreateDataFrameFromJDBC \{

def main(args: Array\[String\]): Unit = \{

//创建SparkSession

val spark = SparkSession.builder()

.appName(this.getClass.getSimpleName)

.master("local\[\*\]")

.getOrCreate()

val properties = new Properties()

properties.setProperty("user","root")

properties.setProperty("password","123456")

//一定要有schema信息

//在执行时调用read.jdbc方法一定要或取数据库表的信息

//read.jdbc是在Driver端跟数据库查询，返回指定表的schema信息作为DataFrame的信息

val df: DataFrame = spark.read.jdbc("jdbc:mysql://localhost:3306/demo01?characterEncoding=utf8", "tb\_user", properties)

df.printSchema()

df.show()

spark.stop()

\}

\}

写入到mysql中

import java.util.Properties

import org.apache.spark.rdd.RDD

import org.apache.spark.sql.types.\{DoubleType, IntegerType, StringType, StructField, StructType\}

import org.apache.spark.sql.\{DataFrame, Row, SaveMode, SparkSession\}

object WriteJDBC \{

def main(args: Array\[String\]): Unit = \{

//创建SparkSession

val spark = SparkSession.builder()

.appName(this.getClass.getSimpleName)

.master("local\[\*\]")

.getOrCreate()

val sc = spark.sparkContext

val lines: RDD\[String\] = sc.textFile("src/main/scala/data/user.txt")

//row的字段没有名字 没有类型

val rdd1: RDD\[Row\] = lines.map(e => \{

val split = e.split(",")

Row(split(0), split(1).toInt, split(2).toDouble)

\})

//关联schema(字段名称、字段类型、是否可以为空)

val schema: StructType = StructType(

Array(

StructField("name", StringType),

StructField("age", IntegerType),

StructField("fv", DoubleType)

)

)

//将RowRDD与StructType中的schema关联

val df: DataFrame = spark.createDataFrame(rdd1, schema)

val properties = new Properties()

properties.setProperty("user","root")

properties.setProperty("password","123456")

//ErrorIfExists如果输出的目录或表已经存在就报错

//Append 追加

//Overwrite 将原来的目录或数据库表删除，然后在新建目录或表将数据写入

//Ignore 没有就写入，有就什么都不做

df.write.mode(SaveMode.Append).jdbc("jdbc:mysql://localhost:3306/demo01?characterEncoding=utf8","tb\_user",properties)

sc.stop()

spark.stop()

\}

\}

![826cf98bca6270076ab726f9e709744a.png][]

[2c44e9713322cc9c61ddedfe56fdf806.png]: /images/20221023/be09fad7fc794e7b9f76b83a35e3c307.png
[826cf98bca6270076ab726f9e709744a.png]: /images/20221023/f836b8abb62b4e8989f6f0f7baeb30dd.png

发表评论取消回复

表情：

评论列表（有 0 条评论，187人围观）

还没有评论，来说两句吧...

相关阅读

相关 Spark读取jdbc

/ SimpleApp.java / import org.apache.spark.api.java.function.FilterFunction

﹏ヽ暗。殇╰゛Y/ 2024年03月22日 21:27/ 0 赞/ 74 阅读

相关 Sharding-JDBC 实现读写分离

Sharding-JDBC 是 apache 旗下的 ShardingSphere 中的一款产品，轻量，引入 jar 即可完成读写分离的需求，可以理解为增强版的 JDBC，现在

桃扇骨/ 2023年01月11日 03:46/ 0 赞/ 104 阅读

相关 Sharding-JDBC之读写分离

读写分离本文介绍SpringBoot使用Sharding-JDBC进行读写分离，废话不多说，直接写代码。场景介绍：主库（Master）负责写入。从

缺乏、安全感/ 2022年12月29日 14:20/ 0 赞/ 93 阅读

相关使用Spark SQL JDBC

Spark SQL JDBC 写我们可以使用一个 JDBC 的链接来定义一个 Spark SQL 的表或者视图，这里用表来做示例：我们先在 mysql 中建立

柔情只为你懂/ 2022年12月29日 06:53/ 0 赞/ 136 阅读

相关 Spark SQL与JDBC的集成

数据源： userid,addres,age,username 001,guangzhou,20,alex 002,shenzhen,34,

向右看齐/ 2022年12月27日 14:02/ 0 赞/ 108 阅读

相关 Sharding-JDBC 实现读写分离

Sharding-JDBC 是 apache 旗下的 ShardingSphere 中的一款产品，轻量，引入 jar 即可完成读写分离的需求，可以理解为增强版的 JDBC，现在

迈不过友情╰/ 2022年12月09日 04:55/ 0 赞/ 174 阅读

相关 Spark-Sql快速入门系列(4) | JDBC读写数据

目录一.JDBC 从 jdbc 读数据通用写法专用写法向 jdbc 写入数据

淩亂°似流年/ 2022年12月01日 15:43/ 0 赞/ 160 阅读

相关 spark sql jdbc mysql_Spark-SQL 读写jdbc

![2c44e9713322cc9c61ddedfe56fdf806.png][] 读jdbc中的信息 import java.util.Properties impor

绝地灬酷狼/ 2022年11月05日 15:56/ 0 赞/ 188 阅读

相关 SpringBoot使用Sharding-JDBC读写分离

> 本文介绍SpringBoot使用当当Sharding-JDBC进行读写分离。 1.有关Sharding-JDBC 本文还是基于当当网Sharding-Jdbc的依赖

╰+攻爆jí腚メ/ 2022年03月20日 10:48/ 0 赞/ 199 阅读

相关 sharding-jdbc总结（二）读写分离

之前由一篇[总结springboot与sharding-jdbc整合][springboot_sharding-jdbc] 目录配置多数据源结果运行 -------

水深无声/ 2022年01月11日 03:29/ 0 赞/ 143 阅读