Hive的架构

我就是我 2021-12-10 12:13 532阅读 0赞

**（作者：[www.data-master.net][] 数据极）**  
![Hive架构图][Hive]

Hive是基于Hadoop的，hadoop包含hdfs（管理数据），yarn（管理job）。其中hdfs主要由Data Node和Name Node组成，Data Node存放真实数据，而Name Node存放哪些数据放在哪台机器上这些信息。yarn包含node manager和resource manager，负责来管理mapreduce的job。

hive的每一次的计算还会启动Job，所以Hadoop中还会包括Job跟踪及管理的工作，Hive的语句中，大多数命令都可能会启动计算，比如select count等，而select \*此类不启动的计算的语句就不会启动job。

上述是Hive的底层，我们通常在使用Hive时，其实都不需要接触底层的Hadoop，因为我们可以通过三种方式连接到driver，由driver读取元数据库[Metastore][]中的集群中表的shcema信息，包括表名，列，分区等，并连接Hadoop来执行job，完成我们的任务。

Driver中包含了解释器、编译器、优化器，帮助翻译HSQL语言为mapreduce，并从词法句法分析等角度编译和优化语句。

**（作者：[www.data-master.net][] 数据极）**  
那么我们连接drive就有三种方式：  
**1） CLI**。  
也就是command-line interface，命令行界面。这个我们通常使用Xshell，MobaXterm等软件连接到服务器即可使用，我们只需要在命令行中执行：

[chendl@hadoop-client02-1234 ~]$ hive
    Logging initialized using configuration in file:/etc/hive/conf.dist/hive-log4j.properties
    WARNING: Hive CLI is deprecated and migration to Beeline is recommended.
    hive>

这里就可以看出我们是在通过CLI使用Hive。

**2）JDBC/ODBC**。  
通过这种方式使用hive的一个例子就是，通过python代码连接hive，一般在这一步之前，我们都需要先安装java环境，需要安装JDBC/ODBC的依赖包，然后才能在本地脚本中操作Hive。而Thrift 就是允许客户端使用包括Java、C++、Ruby和Python等其他很多种语言，通过编程的方式远程访问Hive的。

通过这种方式使用Hive时，我们就需要给出Hive服务器的信息，包括ip地址，用户名密码等。这种方式能够比较好地将脚本保存下来，方便修改，会比上一种方式更适合一些跑数频率较高的，取数相对固定，比较好自动化的任务。

以下是示例：

from pyhive import hive 
    conn = hive.Connection(host='ip地址', port=22, username='用户名', database='default') 
    cursor = conn.cursor() cursor.execute('select * from testhive limit 10') 
    for result in cursor.fetchall():     
    	print( result)

**3）WebGUI**  
这种方式是我们可以通过网页操作Hive，比如HUE工具，我们可以直接在HUE中写一句一句的Hive代码，也可以写Hive脚本，类似jupyterNotebook那样的在线脚本。  
![在HUE中使用Hive][HUE_Hive]

> （转载请注明出处！！！）

[www.data-master.net]: http://www.data-master.net
[Hive]: /images/20211210/89c578fcea85455da7e4ea98600af78e.png
[Metastore]: http://www.data-master.net/95797643
[HUE_Hive]: /images/20211210/528e34dde0af45538f33c0d51ff3305a.png