HiveServer2的HA

Myth丶恋晨 2022-06-02 23:24 221阅读 0赞

在生产环境中使用Hive，强烈建议使用HiveServer2来提供服务，好处很多：  
  
  
1. 在应用端不用部署Hadoop和Hive客户端；  
2. 相比hive-cli方式，HiveServer2不用直接将HDFS和Metastore暴漏给用户；  
3. 有安全认证机制，并且支持自定义权限校验；  
4. 有HA机制，解决应用端的并发和负载均衡问题；  
5. JDBC方式，可以使用任何语言，方便与应用进行数据交互；

6. 从2.0开始，HiveServer2提供了WEB UI。

如果使用HiveServer2的Client并发比较少，可以使用一个HiveServer2实例，没问题。

![hive][]

但如果这一个实例挂掉，那么会导致所有的应用连接失败。  
  
  
Hive从0.14开始，使用Zookeeper实现了HiveServer2的HA功能（ZooKeeper Service Discovery），Client端可以通过指定一个nameSpace来连接HiveServer2，而不是指定某一个host和port。本文学习和研究HiveServer2的高可用配置。使用的Hive版本为apache-hive-2.0.0-bin。

![hive][hive 1]

如上图，在node1和node2上分别启用两个HiveServer2的实例，并通过zookeeper完成HA的配置

Hive配置  
  
注：这里假设你的Zookeeper已经安装好，并可用。  
在两个安装了apache-hive-2.0.0-bin的机器上，分别编辑hive-site.xml，添加以下参数：

<property>  
<name>hive.server2.support.dynamic.service.discovery</name>  
<value>true</value>  
</property>  
   
<property>  
<name>hive.server2.zookeeper.namespace</name>  
<value>hiveserver2\_zk</value>  
</property>  
   
<property>  
<name>hive.zookeeper.quorum</name>  
<value> zkNode1:2181,zkNode2:2181,zkNode3:2181</value>  
</property>  
   
<property>  
<name>hive.zookeeper.client.port</name>  
<value>2181</value>  
</property>  
   
   
<property>  
<name>hive.server2.thrift.bind.host</name>  
<value>0.0.0.0</value>  
</property>  
   
<property>  
<name>hive.server2.thrift.port</name>  
<value>10001</value> //两个HiveServer2实例的端口号要一致  
</property>

先启动第一个HiveServer2 :  
  
cd $HIVE\_HOME/bin  
./hiveserver2

再启动另一个：

第二个实例启动后，ZK中可以看到两个都注册上来。

JDBC连接  
  
  
JDBC连接的URL格式为：  
jdbc:hive2://<zookeeper quorum>/<dbName>;serviceDiscoveryMode=zooKeeper;zooKeeperNamespace=hiveserver2  
  
其中：  
<zookeeper quorum> 为Zookeeper的集群链接串，如zkNode1:2181,zkNode2:2181,zkNode3:2181  
  
<dbName> 为Hive数据库，默认为default  
  
serviceDiscoveryMode=zooKeeper 指定模式为zooKeeper  
  
zooKeeperNamespace=hiveserver2 指定ZK中的nameSpace，即参数hive.server2.zookeeper.namespace所定义，我定义为hiveserver2\_zk  
  
使用beeline测试连接：  
cd $HIVE\_HOME/bin  
./beeline  
!connect jdbc:hive2://zkNode1:2181,zkNode2:2181,zkNode3:2181/;serviceDiscoveryMode=zooKeeper;zooKeeperNamespace=hiveserver2\_zk a""

可以正常连接。  
执行一个HQL查询，日志中显示连接到的HiveServer2实例为Node2，停掉Node2中的HiveServer2实例后，需要重新使用!connect命令连接，之后可以继续正常执行查询，日志显示连接到了Node1中的实例。

关于Hadoop2中的用户权限认证  
  
本例中两个HiveServer2实例均使用普通用户a启动，  
  
  
刚开始使用beeline链接时候报错：  
Error: Failed to open new session:   
java.lang.RuntimeException: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.security.authorize.AuthorizationException):   
User: liuxiaowen is not allowed to impersonate liuxiaowen (state=,code=0)   
这是由于Hadoop2中的用户权限认证导致的。  
  
参考资料：  
https://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/Superusers.html  
http://dongxicheng.org/mapreduce-nextgen/hadoop-secure-impersonation/  
  
解决办法：  
  
在Hadoop的core-site.xml中增加配置：  
<property>  
<name>hadoop.proxyuser.liuxiaowen.groups</name>  
<value>\*</value>  
</property>  
   
<property>  
<name>hadoop.proxyuser.liuxiaowen.hosts</name>  
<value>\*</value>  
</property>  
其中 a为启动HiveServer2的用户。  
  
使用超级用户hadoop刷新配置：  
  
yarn rmadmin -refreshSuperUserGroupsConfiguration  
hdfs dfsadmin -refreshSuperUserGroupsConfiguration  
  
如果是对namenode做过HA，则需要在主备namenode上执行：  
  
hdfs dfsadmin -fs hdfs://cdh5 -refreshSuperUserGroupsConfiguration

[hive]: http://7xipth.com1.z0.glb.clouddn.com/20160527-4.jpg
[hive 1]: http://7xipth.com1.z0.glb.clouddn.com/20160527-5.jpg