Hive - 高级

港控/mmm° 2022-03-22 12:17 166阅读 0赞

**目录：**

1.  hive存储模型
    
    1.  数据存储模型
    2.  数据倾斜
    3.  总体上Hive有四种表：外部表，内部表（管理表、托管表），分区表，桶表。
    4.  分区和分桶
2.  常用hive关联查询
3.  hive sql 转化原理
4.  hive java 编程
5.  Beeline的使用
6.  自定义函数说明
7.  hive 命令行说明

## ##

### 一.hive存储模型 ###

1.  数据存储模型  
    ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70][]
2.  数据倾斜
    
    1.  原因  
        简单来说数据倾斜就是数据的key 的分化严重不均，造成一部分数据很多，一部分数据很少的局面。  
        举个 word count 的入门例子，它的map 阶段就是形成 （“aaa”,1）的形式，然后在reduce 阶段进行 value 相加，得出 “aaa” 出现的次数。若进行 word count 的文本有100G，其中 80G 全部是 “aaa”， 剩下 20G 是其余单词，那就会形成 80G 的数据量交给一个 reduce 进行相加，其余 20G 根据 key 不同分散到不同 reduce 进行相加的情况。如此就造成了数据倾斜，临床反应就是 reduce 跑到 99%然后一直在原地等着 那80G 的reduce 跑完。
        
         
        
          
        ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 1][]  
        [https://www.cnblogs.com/skyl/p/4855099.html][https_www.cnblogs.com_skyl_p_4855099.html]
3.  总体上Hive有四种表：外部表，内部表（管理表、托管表），分区表，桶表。  
    ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 2][]![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 3][]  
    [Hive四大表类型内部表、外部表、分区表和桶表][Hive]
4.  分区和分桶  
    ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 4][]  
    说明：  
    ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 5][]

## ##

### 二.hive关联查询 ###

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 6][]  
说明：  
![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 7][]  
![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 8][]

操作：  
1.创建两个表  
2.创建数据文本  
3.将数据加载到表中  
4.测试

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 9][]  
![2019012818132823.png][]

答案：  
![20190128182416809.png][]

###    三.hive sql 转化原理 ###

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 10][]  
可参考博客：

[Hive系列之HSQL转换成MapReduce过程][Hive_HSQL_MapReduce]

[HiveSQL解析原理：包括SQL转化为MapReduce过程及MapReduce如何实现基本SQL操作][HiveSQL_SQL_MapReduce_MapReduce_SQL]

explain：使用explain可以验证sql语句是否正确，不会执行。  
![20190128183351177.png][]

## ##

### 四.hive java 编程 ###

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 11][]  
**步骤：**

1.  在linux中开启对外提供的服务  
    ![20190128212815807.png][]
2.  打开eclipse或者idea，创建maven项目
3.  在pom.xml中添加依赖包
4.  java代码  
    ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 12][]
5.  注意：在运行过程中出现以下错误异常及解决方案
    
    1.  异常1  
        ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 13][]  
        解决方案：  
        ![20190128221259472.png][]  
        ![20190128221416805.png][]：以下二选一  
        ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 14][]

###    五.Beeline的使用 ###

1.  Beeline可以解决什么问题：本地hive根据其他主机ip和端口来操作对方的hive  
    ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 15][]
2.  使用方式：
    
    1.  第一步：对方开启hiveserver2服务（对方开启了hive服务，本地才能连接）
    2.  第二步：本地开启beeline  
        ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 16][]
    3.  第三步：连接对方hive（密码为空）  
        ![20190128235938167.png][]
    4.  第四步：操作  
          
        ![20190129000140382.png][]

###    六.自定义函数说明 ###

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 17][]  
![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 18][]  
![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 19][]  
**解析：**

1.  explode说明  
    ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 20][]
2.  自定义函数：  
    需求：将数据中的手机号码的中间4位用\*代替![20190129005206772.png][]
    
    1.  创建maven项目，导包hadoop和hive-exec  
        4个包：  
        ![20190129004949262.png][]  
        ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 21][]  
        ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 22][]
    2.  创建类继承UDF  
        ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 23][]
    3.  创建方法public String evaluate(Text text)编写代码：  
        ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 24][]  
         
    4.  项目打包，并将jar包上传到linux  
        ![20190129004244706.png][]  
        可以使用xftp软件上传或者其他  
        ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 25][]
    5.  加入到hive中（add jar jar的全路径），在hive窗口中执行  
        ![2019012900330829.png][]
    6.  创建函数 create temporary function formatStr as '类的全定限名'  
        ![20190129003544319.png][]  
        说明：  
        keduox\_fun\_str为函数名，我们自己取的  
        com.keduox.MyUdf为第二步创建的类的全定限名
    7.  使用  
        第一步：创建一个表来存储数据  
        ![20190129004346365.png][]  
        第二步：创建一个数据文本  
        ![20190129004704834.png][]  
        ![20190129004648539.png][]  
        第三步：将数据文本加载到表中  
        ![2019012900460670.png][]  
        第四步：不使用函数的方式查询和使用函数的方式查询的区别  
        ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 26][]
    8.  完成

###    七.hive 命令行说明 ###

### 八.任务   ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 27][] ###

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70]: /images/20220322/36b231bf55fd42e5af6577c72a1e1d5b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 1]: /images/20220322/c54f6ff6d93f44808e5176320132a88b.png
[https_www.cnblogs.com_skyl_p_4855099.html]: https://www.cnblogs.com/skyl/p/4855099.html
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 2]: https://img-blog.csdnimg.cn/20190128163528898.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 3]: /images/20220322/ba1dad8f01d840a18de3a05218f7cda5.png
[Hive]: https://blog.csdn.net/u010886217/article/details/83796151
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 4]: /images/20220322/5642632cc98e4a36a4e0d4ab03233982.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 5]: /images/20220322/1baaedf0ac0144b0bf2c0b6bd5aa92e0.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 6]: /images/20220322/db89cfa5590545c5bf01673f319c7b07.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 7]: /images/20220322/493d6ba01698496494b4a6098bdf5d72.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 8]: /images/20220322/b403f9d3e8eb4f249598bbc0f7ea13eb.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 9]: /images/20220322/3bd55e899b884797a5472818c998b182.png
[2019012818132823.png]: /images/20220322/6068958f95b34552bb50f30f96e0f676.png
[20190128182416809.png]: /images/20220322/d47fb589bb644b93b39f681ad0ccf6f9.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 10]: /images/20220322/0a6262d33f23474cb0678442bba79a20.png
[Hive_HSQL_MapReduce]: https://www.jianshu.com/p/660fd157c5eb
[HiveSQL_SQL_MapReduce_MapReduce_SQL]: https://blog.csdn.net/youzhouliu/article/details/70807993
[20190128183351177.png]: /images/20220322/6b6d875a78b54e28ba87b3e0ab75daa9.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 11]: /images/20220322/0d04e6a22792449684a3e9c787fd4210.png
[20190128212815807.png]: /images/20220322/02203072cf4143cf96d2d2043946e248.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 12]: /images/20220322/31c12688ee6a4f9bbacb4aebcd2667a6.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 13]: /images/20220322/caf8f84f4dc54e439abd530cf451cf35.png
[20190128221259472.png]: /images/20220322/e37002affb494ad7ac1ff011fe095321.png
[20190128221416805.png]: /images/20220322/e27245290f984c949f6894d4dd9cde6f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 14]: /images/20220322/6d158a3246964c39b1e5fe691389552d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 15]: /images/20220322/2fa6966304b04a98a71686ea068cd156.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 16]: /images/20220322/e44a37fade364b908ed7c6d8b7ab668b.png
[20190128235938167.png]: /images/20220322/46d7104d21374355a19872112c826b11.png
[20190129000140382.png]: /images/20220322/71f8b440db454b528929ccf9ce0c2d3b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 17]: /images/20220322/12850ee4fe7e4136981a80016a546c80.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 18]: /images/20220322/0ad93d91eac5425f86935974c9f1d181.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 19]: /images/20220322/3b467ebc18dc436d83da561c334814a3.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 20]: /images/20220322/9ca6c8d1b5924242b4351ee6ecc42dd2.png
[20190129005206772.png]: /images/20220322/770922e4714945d78c4cffe696b8edd3.png
[20190129004949262.png]: /images/20220322/9117cc385b4f43629af7b46a837767c2.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 21]: /images/20220322/50a8215aa54640ce9d166a06ca30508a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 22]: /images/20220322/62221f6667b54cf88ee5fa6859318037.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 23]: /images/20220322/9f3cbfa69f7448f996dbef44201f33d6.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 24]: /images/20220322/2f0a4ef2d6a54cc39f71023e6fe0f36d.png
[20190129004244706.png]: /images/20220322/8b3f7272e94c49868f41b79606f1e15b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 25]: /images/20220322/c2addefe0d684cee906e7da3ce2dfa8a.png
[2019012900330829.png]: /images/20220322/cb05b1e7e8dd44b89438a21fb613f33b.png
[20190129003544319.png]: /images/20220322/8d807478d5ed4a70bd183963cf045937.png
[20190129004346365.png]: /images/20220322/dc3a198f4f51499a89e8e73189eb9ce9.png
[20190129004704834.png]: /images/20220322/2d0a5fe81f1e44bdba92c431ed3e334b.png
[20190129004648539.png]: /images/20220322/34651a3fddc24687a4dee37acd30b9d6.png
[2019012900460670.png]: /images/20220322/5010a5528351477081e59907b2c79f6d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 26]: /images/20220322/98947b05b02a4a77b24039a99f55c6f6.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lpZ3VhbmdfODIw_size_16_color_FFFFFF_t_70 27]: /images/20220322/169cb5b479474ab59cfc7613b936b3ff.png