SparkSQL读写kudu小记

今天药忘吃喽~ 2022-03-06 07:56 302阅读 0赞

在操作之前首先要有相应的依赖

<dependency>
          <groupId>org.apache.kudu</groupId>
          <artifactId>kudu-spark2_2.11</artifactId>
          <version>1.8.0</version>
          
    </dependency>

SparkSQL读取Kudu（Java语言描述）

public static Dataset<Row> getDatasetFromKudu(String tableName, SparkSession sparkSession) {
            SQLContext sqlContext = sparkSession.sqlContext();
            Dataset<Row> load = sqlContext
                    .read()
                    .format("org.apache.kudu.spark.kudu")
                    .option("kudu.master", "192.168.1.126:7051,192.168.1.207:7051,192.168.1.208:7051")
                    .option("kudu.table", tableName)
                    .load();
            return load;
    }

SparkSQL将DataFrame存入Kudu（Scala语言描述）

def saveData2Kudu(tableName : String, sparkSession: SparkSession, dataset: DataFrame) = {
        val kuduContext = new KuduContext("192.168.1.126:7051,192.168.1.207:7051,192.168.1.208:7051",sparkSession.sparkContext)
        kuduContext.upsertRows(dataset,tableName)
        true
    }

发表评论取消回复

表情：

评论列表（有 0 条评论，302人围观）

还没有评论，来说两句吧...

相关阅读

相关 kudu

KUDU 介绍 [KUDU 介绍][KUDU] kudo 和hdfs hbase的区别 [有HBase之后为什么还需要KUDU][HBase_KUDU] ku

客官°小女子只卖身不卖艺/ 2022年10月11日 13:31/ 0 赞/ 232 阅读

相关 sparkSql 读写Es

目录一、maven相关依赖二、ticket.csv 三、代码四、输出结果五、Es版本问题 -------------------- 一、maven相关依

你的名字/ 2022年09月03日 03:24/ 0 赞/ 182 阅读

相关 Python小记--二进制方式文件读写实践

二进制文件读写探究昨天的[文件读写简洁方案][Link 1]使用了with语法代替try…except….finally进行文本文件读写，今天补充一下读写二进制文件内容

刺骨的言语ヽ痛彻心扉/ 2022年06月10日 09:26/ 0 赞/ 376 阅读

相关 Python小记--文件读写简洁方案

普通文件读写方案在一般语言的文件读写中，java或是c\，读写操作都是按照以下逻辑： 1. 创建连接对象 2. 循环读取（或写入） 3. 关闭连接除了正常流

本是古典何须时尚/ 2022年06月10日 08:38/ 0 赞/ 141 阅读

相关 kudu

kudu kudu:面向结构化数据的开源的table存储引擎，支持低延迟的随机存取以及高效的分析处理 Kudu管理的是类似关系型数据库的结构化的表，表结构由类Sql的S

「爱情、让人受尽委屈。」/ 2022年05月14日 07:25/ 0 赞/ 261 阅读

相关 SparkSQL对mysql的读写

SparkSQL JDBC数据源！：load这个方法不会真正读取mysql的数据 //1、创建sparkSession val sparkSessio

港控/mmm°/ 2022年05月08日 11:42/ 0 赞/ 326 阅读

相关一文读懂 Apache Kudu

前言 Apache Kudu是由Cloudera开源的存储引擎，可以同时提供低延迟的随机读写和高效的数据分析能力。Kudu支持水平扩展，使用Raft协议进行一致性保证，并

ゞ浴缸里的玫瑰/ 2022年04月21日 15:22/ 0 赞/ 277 阅读

相关一文读懂 Apache Kudu

本文转自：[https://www.jianshu.com/p/83290cd817ac][https_www.jianshu.com_p_83290cd817ac]

Myth丶恋晨/ 2022年03月24日 20:42/ 0 赞/ 283 阅读

相关 SparkSQL读写kudu小记

在操作之前首先要有相应的依赖 <dependency> <groupId>org.apache.kudu</groupId>

今天药忘吃喽~/ 2022年03月06日 07:56/ 0 赞/ 303 阅读

相关 SparkSql 读写Hive 分区表（数据清洗类）

> 主要使用 SparkSql 对 Hive 分区表使用动态分区进行操作，根据规则对数据进行清洗等，除了刚导入数据时指定date范围清洗，后期按天进行清洗。 p

比眉伴天荒/ 2021年09月23日 09:46/ 0 赞/ 489 阅读