Kyuubi介绍

╰半橙微兮° 2023-05-30 06:13 12阅读 0赞

Kyuubi 是对spark thrift server的加强版，它弥补了spark thrift server缺少的多租户，授权，负载均衡，高可用特性。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxcXEwMTk5MTgx_size_16_color_FFFFFF_t_70]

# 统一接口 #

Kyuubi使用的协议与HiveServer保持一致，因此它能够支持所有的JDBC/ODBC客户端，用户应用程序也可以根据上图的thrift API写。用户可以用多种类型的客户端连接kyuubi服务，每个连接都绑定了一个sparkSession实例，sparkSession中包含了HiveMetaStoreClient,它能够与hive MetaStore Server交互。

# 运行时资源弹性 #

在启动期间，Kyuubi不会占用集群管理器(Yarn)的任何资源，如果没有与SparkContext交互的活动会话，Kyuubi会将所有资源返回给Yarn。此外，它还支持Spark动态资源分配，允许我们在SparkContext中动态分配资源。

## Kyuubi动态SparkContext缓存 ##

Kyuubi实现了一个SparkSessionCacheManager来控制SparkSession/SparkContext的实例化、注册、缓存、重用和回收。不同的用户在第一次连接到服务器后，在Kyuubi服务器中只有一个SparkContext实例，它将在整个连接生命周期和所有连接关闭后的一段时间内缓存在SparkSessionCacheManager中。这样SparkContext就会有多个实例，每个用户使用属于自己的实例，每个SparkContext占用yarn上部分资源，这就实现了多租户的功能。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxcXEwMTk5MTgx_size_16_color_FFFFFF_t_70 1]

所有属于同一用户的连接共享这个SparkContext来生成它们自己的SparkSession。

## spark动态资源分配 ##

Spark提供了一种机制，可以根据工作负载动态调整应用程序占用的资源。这意味着，如果不再使用资源，您的应用程序可能会将它们返回给集群，并在以后需要时再次请求它们。如果多个应用程序共享Spark集群中的资源，该特性尤其有用。

# 安全 #

kyuubi支持Kerberos认证，并且支持集成spark-authorizer权限验证插件，该插件对Spark没有侵入性，主要用于查询优化的最后阶段。实际上，具体权限对接的是Ranger中的权限控制中心，通过集成Spark-authorizer，能够做到细粒度的权限控制。

![在这里插入图片描述][20191107195239965.png]

# 高可用 #

![在这里插入图片描述][20191107195319577.png]

当配置spark.kyuubi.ha.enabled=true时，多个Kyuubi服务器实例可以向ZooKeeper注册。然后客户端可以通过ZooKeeper找到一个Kyuubi服务器。当一个客户端请求一个服务器实例时，ZooKeeper会随机返回一个选中的注册实例。这个特性提供了:  
 高可用性  
 负载均衡  
 滚动升级

# 内部结构 #

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxcXEwMTk5MTgx_size_16_color_FFFFFF_t_70 2]  
FrontendService负责维护与客户端的连接，与客户端进行交互，将客户端的SQL请求转发至BackendService；BackendService负责执行Spark SQL并将执行结果返回给FrontendService。FrontendService最后将结果返回至客户端。

SparkSessionCacheManager 负责管理SparkSession,OperationManager负责管理KyuubiOperation。客户端提交上来的请求转化为KyuubiOperation。通过KyuubiSession获取到sparkSession,将请求提交到spark sql执行。

# 总结 #

Kyuubi以HiveServer2 Thrift API为接口协议，提供Spark SQL服务。相比传统的Spark，Kyuubi主要增加多租户、权限、负载均衡等功能。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxcXEwMTk5MTgx_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20191107195013766.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxcXEwMTk5MTgx,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxcXEwMTk5MTgx_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/20191107195131956.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxcXEwMTk5MTgx,size_16,color_FFFFFF,t_70
[20191107195239965.png]: https://img-blog.csdnimg.cn/20191107195239965.png
[20191107195319577.png]: https://img-blog.csdnimg.cn/20191107195319577.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxcXEwMTk5MTgx_size_16_color_FFFFFF_t_70 2]: https://img-blog.csdnimg.cn/20191107195343449.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxcXEwMTk5MTgx,size_16,color_FFFFFF,t_70