Hive on Zeppelin

梦里梦外; 2024-03-17 12:43 52阅读 0赞

\*\*

### Hive on Zeppelin ###

\*\*

官网：zeppelin.apache.org

做大数据的人应该对Hive不陌生，Hive应该是大数据SQL引擎的鼻祖。历经多个版本的改进，现在的Hive3已经具备比较完善的ACID功能，能够同时满足交互式查询和ETL 两种场景。  
那怎么来用hive呢 ？如果你还在用beeline来跑hive sql的话，你就弱爆了，来看看强大的Zeppelin能够给你带来什么吧

![在这里插入图片描述][859f05c7992645aca7b9d537576c4124.png]  
配置Hive Interpreter  
未启用Shiro  
未启用kerberos  
![在这里插入图片描述][e73e9886391e452084c90d44853c1b3b.png]  
启用kerberos  
![在这里插入图片描述][f14b8d5a766040809df932a55907fbbf.png]

启用Shiro  
未启用kerberos

![在这里插入图片描述][6623e9d5965849b8b04a774ecde8ca2b.png]  
启用kerberos  
![在这里插入图片描述][6fea6bbae2e44ab2b13a961289ca4d7f.png]  
Interpreter 是Zeppelin里最重要的概念，每一种Interpreter对应一个引擎。Hive对应的Interpreter是Jdbc Interpreter, 因为Zeppelin是通过Hive的Jdbc接口来运行Hive SQL。  
接下来你可以在Zeppelin的Interpreter页面配置Jdbc Interpreter来启用Hive。首先我想说明的是Zeppelin的Jdbc Interpreter可以支持所有Jdbc协议的数据库，Zeppelin 的Jdbc Interpreter默认是连接Postgresql。  
启动Hive，可以有2种选择

1.  修改默认jdbc interpreter的配置项（这种配置下，在Note里用hive可以直接 %jdbc 开头）
2.  创建一个新的Jdbc interpreter，命名为hive (这种配置下，在Note里用hive可以直接 %hive 开头）  
    这里我会选用第2种方法。我会创建一个新的hive interpreter，然后配置以下基本的属性（你需要根据自己的环境做配置）

![在这里插入图片描述][223f5f45724e42f991421f9d71e8d796.png]  
hive.driver 配置成 org.apache.hive.jdbc.HiveDriver, 因为Zeppelin没有把Hive打包进去，所以默认情况下找不到这个Class的，你需要在这个Interpreter中添加dependency，如下图所示：

![在这里插入图片描述][ad0213f4eb694952bc3bb4759c196bf3.png]  
hive.url的默认配置形式是 jdbc:hive2://host:port/<db\_name>, 这里的host是你的hiveserver2的机器名，port是 hiveserver2的thrift 端口 (如果你的hiveserver2用的是binary模式，那么对应的hive配置是hive.server2.thrift.port (默认是10000)，如果是http模式，那么对应的hive配置是hive.server2.thrift.http.port，（默认是10001) 。db\_name是你要连的hive 数据库的名字，默认是default

![在这里插入图片描述][5db58b1cdaa449c381a637006d0557ec.png]

高级功能  
看到这边，你可能会说Zeppelin不就是连接hive jdbc来运行sql嘛，也没什么特别的啊。稍安勿躁，接下来我们来看看除了以上基本sql的执行功能，Zeppelin的Jdbc Interpreter还能为Hive做什么:  
● Dynamic Forms  
● 支持一次运行多条SQL语句  
● 支持并发运行多条SQL语句  
● 展示Hive Job运行过程log  
● 关联Job URL  
● Rest API 运行 Hive SQL  
Dynamic Forms

Dynamic Forms 是Zeppelin的一个高级功能，允许用户在代码中插入UI控件来允许用户定制化你的代码。Jdbc Interpreter支持这一功能，用户可以定制SQL，下面是一个下拉框的例子。

![在这里插入图片描述][d349c1c6c25644a3bd8a1c95b8dfa6ae.png]  
Zeppelin也支持文本框，Checkbox，具体可以参考 http://zeppelin.apache.org/docs/0.8.0/usage/dynamic\_form/intro.html  
支持一次运行多条SQL语句

默认情况下，Zeppelin支持在一个Paragraph中按顺序运行多条SQL语句。每条SQL语句以分号隔开，如下图

![在这里插入图片描述][65daf57642fb46cfb3d539cdfe9397c7.png]  
支持并发运行多条SQL语句

默认情况下，Jdbc Interpreter能够允许同时运行多条SQL语句（运行多个Hive Job），你可以修改以下配置来调整。

![在这里插入图片描述][950d28af574942b7b6a274fb4c4055c4.png]  
展示Hive Job运行过程log

在最新版本的Zeppelin中可以展示Hive Job的运行过程log，和你在beeline里看到的一样。如下图所示：  
![在这里插入图片描述][ff172cb9e8e04dfca99ec5e60261835c.png]  
如果你不想看到log，那么有2种方式  
● 设置hive interpreter的属性 hive.log.display 为false，这样所有的paragraph都不会展示log  
● 设置paragraph的local property：displayLog=false来控制每个paragraph的log输出，如下图：

![在这里插入图片描述][73fbae696cf24975a6477dd511b702b5.png]  
关联Job URL

如果你是用MR引擎，那么Zeppelin还帮你自动关联到对应MR Job URL。  
![在这里插入图片描述][beb88c9684044259b6512e3a71c86a50.png]

[859f05c7992645aca7b9d537576c4124.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/15/10343466f9244b2184890c1004d7ec50.png
[e73e9886391e452084c90d44853c1b3b.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/15/7a9e06a1ec814550b38419a818a1e4cf.png
[f14b8d5a766040809df932a55907fbbf.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/15/3c41298cf1a048aca669049e039322fe.png
[6623e9d5965849b8b04a774ecde8ca2b.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/15/4048afb15296458b9c9024e97d0750be.png
[6fea6bbae2e44ab2b13a961289ca4d7f.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/15/cf6e46e927564e89aa5e4f1a674adb53.png
[223f5f45724e42f991421f9d71e8d796.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/15/930dd557ad7b45da9ba92160f801f601.png
[ad0213f4eb694952bc3bb4759c196bf3.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/15/65aa4fc8c2614c0c945d8e055ad9976b.png
[5db58b1cdaa449c381a637006d0557ec.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/15/fe5aab82598c49488a3288d899f098fd.png
[d349c1c6c25644a3bd8a1c95b8dfa6ae.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/15/0d10c2633bfe4b92b796ac10d6ce7b63.png
[65daf57642fb46cfb3d539cdfe9397c7.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/15/410a02b86c1246e38ed11bf69d0b19a8.png
[950d28af574942b7b6a274fb4c4055c4.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/15/a878eaba07ba4a37be75b5347ff7c17f.png
[ff172cb9e8e04dfca99ec5e60261835c.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/15/0e6a6d9b4b654138bab5662e50e23ca7.png
[73fbae696cf24975a6477dd511b702b5.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/15/c794698ddb4f4006b69214d57b77e852.png
[beb88c9684044259b6512e3a71c86a50.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/15/38852cecda024cce9e3b705cbbb89716.png