SparkSQL Catalog的作用和访问Hive元数据信息

曾经终败给现在 2024-02-19 16:01 20阅读 0赞

### SparkSQL Catalog的作用： ###

**SparkSQL直接访问hive元数据信息，不再需要去mysql里的表里去查找**  
Spark 2.0中添加了标准的API（称为catalog）来访问Spark SQL中的元数据。这个API既可以操作Spark SQL，也可以操作Hive元数据。

### 代码操作： ###

package g5.learning
    
    import org.apache.spark.sql.SparkSession
    
    object CatalogApp {
      def main(args: Array[String]): Unit = {
        val  sparksession= SparkSession.builder().appName("CatalogApp")
          .master("local[2]")
          .enableHiveSupport() //使用到hive一定要开启这个
          .getOrCreate()
        val catalog = sparksession.catalog
    //查库
    catalog.listDatabases().show(false)
        //查库筛选名字
        catalog.listDatabases().select("name").show(false)
    //查，一个库的表
    catalog.listTables("default").show()
    //查看某张表的列
        catalog.listColumns("dafault","ruoze_wc").show()
        sparksession.stop()
      }
    }

**catalog.listDatabases().select(“name”).show(false)这里为什么可以select操作**  
listDatabases返回元数据中所有的数据库。默认情况下，元数据仅仅只有名为default的数据库。如果是Hive元数据，那么它会从Hive元数据中获取所有的数据库。listDatabases返回的类型是dataset，所以我们可以使用Dataset上的所有操作来查询元数据。

### SparkSQL操作 ###

scala> [hadoop@hadoop001 bin]$ ./saprk-shell
    scala> val catalog = sparksession.catalog
    <console>:23: error: not found: value sparksession
           val catalog = sparksession.catalog
    错误原因这里不能用sparksession，要用spark
    scala> val catalog = spark.catalog
    catalog: org.apache.spark.sql.catalog.Catalog = org.apache.spark.sql.internal.CatalogImpl@74159dc9
    
    scala> catalog.listDatabases().show(false)
    +-------+---------------------+-----------------------------------------+
    |name   |description          |locationUri                              |
    +-------+---------------------+-----------------------------------------+
    |default|Default Hive database|hdfs://hadoop001:9000/user/hive/warehouse|
    +-------+---------------------+-----------------------------------------+
    
    
    scala> catalog.listDatabases().select("name").show(false)
    +-------+
    |name   |
    +-------+
    |default|
    +-------+
    
    
    scala> catalog.listTables("default").show()
    19/01/15 13:02:14 WARN ObjectStore: Failed to get database global_temp, returning NoSuchObjectException
    +---------+--------+-----------+---------+-----------+
    |     name|database|description|tableType|isTemporary|
    +---------+--------+-----------+---------+-----------+
    |   person| default|       null|  MANAGED|      false|
    |ruoze_emp| default|       null|  MANAGED|      false|
    | ruoze_wc| default|       null|  MANAGED|      false|
    +---------+--------+-----------+---------+-----------+
    
    
    scala> catalog.listColumns("dafault","ruoze_wc").show()

发表评论取消回复

表情：

评论列表（有 0 条评论，20人围观）

还没有评论，来说两句吧...

相关阅读

相关访问 Hive 的元数据存储（MetaStore）的API方式

访问 Hive 的元数据存储（MetaStore）的API方式访问 Hive 的元数据存储（MetaStore）是通过 Hive 的 Thrift API 来实现的。Thr

我会带着你远行/ 2024年03月22日 23:07/ 0 赞/ 123 阅读

相关 SparkSQL Catalog的作用和访问Hive元数据信息

SparkSQL Catalog的作用： SparkSQL直接访问hive元数据信息，不再需要去mysql里的表里去查找 Spark 2.0中添加了标准的API（称为

曾经终败给现在/ 2024年02月19日 16:01/ 0 赞/ 21 阅读

相关 SparkSQL之关联mysql和hive查询

创建Mysql数据库 CREATE DATABASE spark; USE spark; CREATE TABLE DEPT(

青旅半醒/ 2023年07月19日 08:19/ 0 赞/ 13 阅读

相关 SparkSQL之操作Hive

首先启动`spark-shell`: 命令：`spark-shell --master local[2] --jars ~/software/mysql-connector

r囧r小猫/ 2023年07月19日 04:53/ 0 赞/ 34 阅读

相关 SparkSQL通过Hive创建DataFrame

SparkSQL通过Hive创建DataFrame问题分析问题一 Caused by: org.apache.spark.sql.catalyst.an

ゝ一纸荒年。/ 2023年07月06日 06:19/ 0 赞/ 36 阅读

相关启动hive之前需要初始化hive元数据

hive命令报错： Exception in thread “main” java.lang.RuntimeException: org.apache.hadoop.hiv

柔情只为你懂/ 2023年05月31日 02:34/ 0 赞/ 20 阅读

相关 SparkSQL读取hive数据本地idea运行

环境准备： hadoop版本：2.6.5 spark版本：2.3.0 hive版本：1.2.2 master主机：192.168.100.

灰太狼/ 2022年12月07日 13:19/ 0 赞/ 158 阅读

相关 SparkSql使用Catalog连接Hive

SparkSql使用Catalog连接Hive 目录 SparkSql使用Catalog连接Hive 一、Catalog 二、Cat

阳光穿透心脏的1/2处/ 2022年11月07日 14:53/ 0 赞/ 257 阅读

相关 SparkSQL读取Hive中的数据

注意红色字。 \---------------------- 由于我Spark采用的是Cloudera公司的CDH，并且安装的时候是在线自动安装和部署的集群。最近

￡神魔★判官ぃ/ 2022年09月26日 02:49/ 0 赞/ 179 阅读

相关 Hive的元数据

Hive中的元数据包括表的名字，表的列和分区及其属性，表的属性(是否为外部表等)，表的数据所在目录等。由于Hive的元数据需要不断的更新、修改，而HDFS系统中的文件是多读少

本是古典何须时尚/ 2022年05月24日 11:23/ 0 赞/ 219 阅读