SparkSQL读写kudu小记

今天药忘吃喽~ 2022-03-06 07:56 371阅读 0赞

在操作之前首先要有相应的依赖

<dependency>
          <groupId>org.apache.kudu</groupId>
          <artifactId>kudu-spark2_2.11</artifactId>
          <version>1.8.0</version>
          
    </dependency>

SparkSQL读取Kudu（Java语言描述）

public static Dataset<Row> getDatasetFromKudu(String tableName, SparkSession sparkSession) {
            SQLContext sqlContext = sparkSession.sqlContext();
            Dataset<Row> load = sqlContext
                    .read()
                    .format("org.apache.kudu.spark.kudu")
                    .option("kudu.master", "192.168.1.126:7051,192.168.1.207:7051,192.168.1.208:7051")
                    .option("kudu.table", tableName)
                    .load();
            return load;
    }

SparkSQL将DataFrame存入Kudu（Scala语言描述）

def saveData2Kudu(tableName : String, sparkSession: SparkSession, dataset: DataFrame) = {
        val kuduContext = new KuduContext("192.168.1.126:7051,192.168.1.207:7051,192.168.1.208:7051",sparkSession.sparkContext)
        kuduContext.upsertRows(dataset,tableName)
        true
    }

发表评论取消回复

表情：

评论列表（有 0 条评论，371人围观）

还没有评论，来说两句吧...

相关阅读

相关 SparkSQL之External Data读写parquet

准备数据文件在`/home/iie4bu/app/spark-2.4.5-bin-2.6.0-cdh5.15.1/examples/src/main/resources

冷不防/ 2023年07月19日 04:49/ 0 赞/ 19 阅读

相关如何用SparkSQL 创建kudu的关联表

从kudu的[官方文档][Link 1]中可以看到spark 如何集成kudu的。从文档中的demo可以看到，kudu表的创建只能调用NOSQL API 来实现，无法通过spa

我就是我/ 2023年06月30日 10:55/ 0 赞/ 8 阅读

相关 sparkSql 读写Es

目录一、maven相关依赖二、ticket.csv 三、代码四、输出结果五、Es版本问题 -------------------- 一、maven相关依

你的名字/ 2022年09月03日 03:24/ 0 赞/ 224 阅读

相关 Python小记--二进制方式文件读写实践

二进制文件读写探究昨天的[文件读写简洁方案][Link 1]使用了with语法代替try…except….finally进行文本文件读写，今天补充一下读写二进制文件内容

刺骨的言语ヽ痛彻心扉/ 2022年06月10日 09:26/ 0 赞/ 481 阅读

相关 Python小记--文件读写简洁方案

普通文件读写方案在一般语言的文件读写中，java或是c\，读写操作都是按照以下逻辑： 1. 创建连接对象 2. 循环读取（或写入） 3. 关闭连接除了正常流

本是古典何须时尚/ 2022年06月10日 08:38/ 0 赞/ 182 阅读

相关 SparkSQL对mysql的读写

SparkSQL JDBC数据源！：load这个方法不会真正读取mysql的数据 //1、创建sparkSession val sparkSessio

港控/mmm°/ 2022年05月08日 11:42/ 0 赞/ 377 阅读

相关一文读懂 Apache Kudu

前言 Apache Kudu是由Cloudera开源的存储引擎，可以同时提供低延迟的随机读写和高效的数据分析能力。Kudu支持水平扩展，使用Raft协议进行一致性保证，并

ゞ浴缸里的玫瑰/ 2022年04月21日 15:22/ 0 赞/ 332 阅读

相关一文读懂 Apache Kudu

本文转自：[https://www.jianshu.com/p/83290cd817ac][https_www.jianshu.com_p_83290cd817ac]

Myth丶恋晨/ 2022年03月24日 20:42/ 0 赞/ 359 阅读

相关 SparkSQL读写kudu小记

在操作之前首先要有相应的依赖 <dependency> <groupId>org.apache.kudu</groupId>

今天药忘吃喽~/ 2022年03月06日 07:56/ 0 赞/ 372 阅读

相关 SparkSql 读写Hive 分区表（数据清洗类）

> 主要使用 SparkSql 对 Hive 分区表使用动态分区进行操作，根据规则对数据进行清洗等，除了刚导入数据时指定date范围清洗，后期按天进行清洗。 p

比眉伴天荒/ 2021年09月23日 09:46/ 0 赞/ 544 阅读