轻松入门大数据第9章入门到进阶：如何快速掌握Hive DDL&DML 9.1 Hive DDL&DML 9.1.24 【重要必掌握】SQL查询之JOIN的使用

「爱情、让人受尽委屈。」 2024-03-16 10:24 8阅读 0赞

### 轻松入门大数据 ###

#### 文章目录 ####

*   *  轻松入门大数据
     *   *  第9章 入门到进阶：如何快速掌握Hive DDL&DML
         *   *  9.1 Hive DDL&DML
             *   *  9.1.24 【重要必掌握】SQL查询之JOIN的使用

![在这里插入图片描述][2a919926504e4d62ab9e43fade4dd6c0.png_pic_center]

#### 第9章 入门到进阶：如何快速掌握Hive DDL&DML ####

##### 9.1 Hive DDL&DML #####

> 1.  数据模型
> 2.  DDL之数据库
> 3.  DDL之表
> 4.  内部表vs外部表
> 5.  加载数据方式
> 6.  分区表
> 7.  Hive QL查询

###### 9.1.24 【重要必掌握】SQL查询之JOIN的使用 ######

join \*\*\*\*\*\*\*\*\*\*【重点中的重点】

进行两表或者多表的关联操作

*  等值join  
    inner join【也叫内联】
    
    ![在这里插入图片描述][9c821f0fe43449108fddbdbea2605bbe.png_pic_center]
    
    ![在这里插入图片描述][4bba78ccef984c788ba2498f10f715b1.png_pic_center]
    
    ![在这里插入图片描述][f6813121699143efb260d848f63f28bf.png_pic_center]
    
    先把部门中的那两个1000 和 2000 删掉【避免干扰】
    
    直接操作HDFS，不然需要开启事务
    
        hadoop fs -rm /user/hive/warehouse/dept/000000_0
    
    ![在这里插入图片描述][ba53e40bc71743fa8b459704b95bba09.png_pic_center]
    
    给员工表来一个部门为空的数据
    
    ![在这里插入图片描述][e8773aff529442d89fceb2485a947be8.png_pic_center]
    
    重新上传数据
    
    `load data local inpath '/home/hadoop/data/emp.txt' overwrite into table emp;` 覆盖的方式
    
    ![在这里插入图片描述][489b2c79888a464692e1995f1275f509.png_pic_center]
    
    OK
    
    ![在这里插入图片描述][54c682114e674c0aa28f0b08762e2423.png_pic_center]
    
    这样就OK了
    
    执行内联：
    
        select
        e.empno, e.ename, d.deptno, d.dname
        from
        emp e join dept d
        on e.deptno=d.deptno;
    
    > 在这里讲一下，如何给MR 作业提提速
    
    ![在这里插入图片描述][6f24353559bd41df9d07cb6eca278d2c.png_pic_center]
    
    当然现在结果已经出来了，用了29s
    
    ![在这里插入图片描述][259a7fb1da764025a794a3af81eca6da.png_pic_center]
    
    设置这个属性，用本地模式跑
    
    `set hive.exec.mode.local.auto=true;`
    
    再试一次
    
    ![在这里插入图片描述][ec184485caf048d1aa52ff232056469d.png_pic_center]
    
    7 s
 *  左外join  
    以左边的表为基准，左边的数据全出来，匹配不上的置空
    
    ![在这里插入图片描述][0dbf44ab456645bc83b2f0641e51b762.png_pic_center]
    
        select
        e.empno, e.ename, d.deptno, d.dname
        from
        emp e left join dept d
        on e.deptno=d.deptno;
    
    ![在这里插入图片描述][90022b9495804f159ce764740f7ca678.png_pic_center]
    
    这条没匹配上的也出来了
 *  右外join  
    以右边的表为基准，右边的数据全出来，匹配不上的置空
    
    ![在这里插入图片描述][1ca5496843f940a4aae316339eedba89.png_pic_center]
    
        select
        e.empno, e.ename, d.deptno, d.dname
        from
        emp e right join dept d
        on e.deptno=d.deptno;
    
    ![在这里插入图片描述][8c4ba273ab784f08bb67250c880a94e0.png_pic_center]
 *  全外join  
    左右表都出来，匹配不上的置空
    
    ![在这里插入图片描述][c5114476b3ed4f48982154ce7992577c.png_pic_center]
    
        select e.empno,e.ename,d.deptno, d.dname from emp e full join dept d on e.deptno=d.deptno;
    
    ![在这里插入图片描述][3b24eb667b5f4e70893ca2f5eb024108.png_pic_center]
    
    啊这，出错了
    
    谷歌了一下说是内存不足的原因
    
    ![在这里插入图片描述][12780bccee484903a6ffe2438846e954.png_pic_center]
    
    换成让它去跑MR 作业
    
    ![在这里插入图片描述][e3d3ea84180a42f8a3080754f597fab2.png_pic_center]
    
    ![在这里插入图片描述][c27c34e60d274559b83390cae66d199a.png_pic_center]
    
    OK，出来了
 *  还有一种笛卡尔积，只做了join 但是没写条件，4 x 15 = 60；
    
        select e.empno,e.ename,d.deptno, d.dname from emp e join dept d;
    
    ![在这里插入图片描述][eaa0ca3d7e794e9c835402125b9fde5a.png_pic_center]
    
    笛卡尔积
    
    连接条件没写/无效
    
    慎用【大数据情况下，资源不够的话，一下就崩了】

[2a919926504e4d62ab9e43fade4dd6c0.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/457032755ecf4f71a4b68a8f79b39c6e.png
[9c821f0fe43449108fddbdbea2605bbe.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/71e476e51dca458189b0f6db77ff5a7c.png
[4bba78ccef984c788ba2498f10f715b1.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/0d992d677aa945188c2c54c7ca4cac20.png
[f6813121699143efb260d848f63f28bf.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/31ec92873a1d46bd84303488656afa83.png
[ba53e40bc71743fa8b459704b95bba09.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/14f40673e1374d85a8a150ad2353202c.png
[e8773aff529442d89fceb2485a947be8.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/72f679cc90a340509e8c72615ca9e4a0.png
[489b2c79888a464692e1995f1275f509.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/5b7e963cba484427b7dd0c1e0a4ddf2c.png
[54c682114e674c0aa28f0b08762e2423.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/b57af5adb05d4112826dbe987afc6155.png
[6f24353559bd41df9d07cb6eca278d2c.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/eb4e23e43503423eabb4d984b52506a7.png
[259a7fb1da764025a794a3af81eca6da.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/6ad89681142f438a983b385cebd2537b.png
[ec184485caf048d1aa52ff232056469d.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/a8a193d8d562472cac5223e04582f503.png
[0dbf44ab456645bc83b2f0641e51b762.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/83a91fa7f2004fa59ce941d418da315a.png
[90022b9495804f159ce764740f7ca678.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/d91b197b85874220905f74bb0f908d3d.png
[1ca5496843f940a4aae316339eedba89.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/dd32ee8340404e3fbfbe35c25d2f1869.png
[8c4ba273ab784f08bb67250c880a94e0.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/786a49e79336456696effc38839bef2e.png
[c5114476b3ed4f48982154ce7992577c.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/20e6b5e24988427da018c98d2bfaaae0.png
[3b24eb667b5f4e70893ca2f5eb024108.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/b6e1676448424b4daf5373b4ff39f350.png
[12780bccee484903a6ffe2438846e954.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/c7422c559bc94e22928c920b4d8b6d60.png
[e3d3ea84180a42f8a3080754f597fab2.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/75ccd2ee26e745858087f7459220c543.png
[c27c34e60d274559b83390cae66d199a.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/071c246009024cf68b764bdb30b814b8.png
[eaa0ca3d7e794e9c835402125b9fde5a.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/3ce0300c25aa4309a4f74bc5830c3932.png