轻松入门大数据第10章入门到进阶：如何快速掌握Hive核心函数 10.1 Hive函数 10.1.15 【重要必掌握】动手实操开发UDF函数之UDF永久函数

桃扇骨 2024-03-16 11:33 23阅读 0赞

### 轻松入门大数据 ###

#### 文章目录 ####

*   *  轻松入门大数据
     *   *  第10章 入门到进阶：如何快速掌握Hive核心函数
         *   *  10.1 Hive函数
             *   *  10.1.15 【重要必掌握】动手实操开发UDF函数之UDF永久函数

![在这里插入图片描述][09581b9be17e4194a8f1db6a54055502.png_pic_center]

#### 第10章 入门到进阶：如何快速掌握Hive核心函数 ####

##### 10.1 Hive函数 #####

> 1.  复杂数据类型
> 2.  Hive内置函数
> 3.  Hive UDF函数
> 4.  窗口分析函数
> 5.  SQL场景题

###### 10.1.15 【重要必掌握】动手实操开发UDF函数之UDF永久函数 ######

> 这里是少了几集课，离谱【临时函数还没讲到】

官方文档：[https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DDL\#LanguageManualDDL-Create/Drop/ReloadFunction][https_cwiki.apache.org_confluence_display_Hive_LanguageManual_DDL_LanguageManualDDL-Create_Drop_ReloadFunction]

![在这里插入图片描述][e49e70e945784015b6b766e520620d73.png_pic_center]

简单了解下什么是临时性函数先：

![在这里插入图片描述][9a043ffbb1f34c86b26b6a2ed0cb1c78.png_pic_center]

OK，就是整个会话中有效。会话重开后，函数失效。

现在我们要讲的是永久性函数。

在 Hive 0.13 或更高版本中，可以将函数注册到 Metastore，因此可以在查询中引用它们，而不必在每个会话中创建临时函数。

![在这里插入图片描述][a9bd90cae96648778529192173ff47c3.png_pic_center]

语法：

CREATE FUNCTION say_hello4 AS "com.pk.hive.udf.UDFHello"
    USING JAR "hdfs://hadoop000:8020/lib/pk-hadoop-1.0.jar";

先把这个路径创建出来：

![在这里插入图片描述][040adf98839e4f27bb9eabc89d8130d3.png_pic_center]

![在这里插入图片描述][491fc502d68e4b06a8adc200b9bd4700.png_pic_center]

这里要用到我们之前的工程了【这里少了几集课程，离谱】

![在这里插入图片描述][cd23dc30e3df40709cb45ec9ccf93c94.png_pic_center]

完全不知道在工程里面写了啥…

大概猜了下：

先在之前的工程中加了hive 依赖

<hive.version>3.1.2</hive.version>
            
            
            <dependency>
                <groupId>org.apache.hive</groupId>
                <artifactId>hive-exec</artifactId>
                <version>${hive.version}</version>
            </dependency>

![在这里插入图片描述][b602dde308004843a973b956b3473b11.png_pic_center]

新建类：

package com.dingjiaxiong.hive.udf;
    
    import org.apache.hadoop.hive.ql.exec.UDF;
    
    /**
     * @Author Ding Jiaxiong
     * @Date 5/12/23 8:45 PM
     */
    
    /**
     * msg
     * Hello:msg
     */
    public class UDFHello extends UDF {
        
    
        public String evaluate(String msg) {
        
            return "Hello:" + msg;
        }
    
        public static void main(String[] args) {
        
            UDFHello udf = new UDFHello();
            System.out.println(udf.evaluate("dingjiaxiong"));
        }
    }

![在这里插入图片描述][844296874c3545879f9d1aafc9d555dc.png_pic_center]

OK， 打包工程

![在这里插入图片描述][fda620c1db44482a86a06e5d9b49fb82.png_pic_center]

![在这里插入图片描述][51ca204e3aa941cb9d39860a29f67a76.png_pic_center]

OK，直接把jar 传到HDFS 的`lib` 下

`hadoop fs -put /home/hadoop/source/dingjiaxiong-hadoop/target/dingjiaxiong-hadoop-1.0.jar /lib`

![在这里插入图片描述][80ebf6db4bcd46dfa4d42b00bee1201b.png_pic_center]

![在这里插入图片描述][eb34f0de59ee4a889fd61e6dc590b74a.png_pic_center]

运行创建永久UDF 命令：

CREATE FUNCTION say_hello4 AS "com.dingjiaxiong.hive.udf.UDFHello"
    USING JAR "hdfs://hadoop000:8020/lib/dingjiaxiong-hadoop-1.0.jar";

![在这里插入图片描述][b067e2f14ff74286b2fe4d15bab0609d.png_pic_center]

OK，使用一下

select ename,say_hello4(ename) from emp;

![在这里插入图片描述][074833e74be94b02b6ccc58664448898.png_pic_center]

没问题。

【而且当我们新开一个会话时，它会自动去下载这个jar 包】

![在这里插入图片描述][93153d89bc0e4a72a2a2417951f6a5f1.png_pic_center]

没问题。

这个函数会注册到元数据，看看MySQL

![在这里插入图片描述][7f6e58d5afa646faad49cf0aa5a28b60.png_pic_center]

这个表

![在这里插入图片描述][a3be85ab0b5747bca5bf7abe6618cc83.png_pic_center]

没问题【电脑快炸了】

[09581b9be17e4194a8f1db6a54055502.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/3580440ec80146fc847a71704520cf62.png
[https_cwiki.apache.org_confluence_display_Hive_LanguageManual_DDL_LanguageManualDDL-Create_Drop_ReloadFunction]: https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DDL#LanguageManualDDL-Create/Drop/ReloadFunction
[e49e70e945784015b6b766e520620d73.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/b102113414194946b9c999c0eab655ab.png
[9a043ffbb1f34c86b26b6a2ed0cb1c78.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/cad726e41df44026b7388425a7edc34a.png
[a9bd90cae96648778529192173ff47c3.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/4d448e537cc84f96a0cdea6cd601bdc6.png
[040adf98839e4f27bb9eabc89d8130d3.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/3d2c5e4fb77941eca6a9b8d71a30e229.png
[491fc502d68e4b06a8adc200b9bd4700.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/b727ffd59b0b450fb9a0932a71f600ca.png
[cd23dc30e3df40709cb45ec9ccf93c94.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/19f1fc14c2dd482096258d3f7aa276f6.png
[b602dde308004843a973b956b3473b11.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/14fec845098a4041ac92f0a1839c5252.png
[844296874c3545879f9d1aafc9d555dc.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/5cd4d3b62dc7495d8c49c3c09806db3e.png
[fda620c1db44482a86a06e5d9b49fb82.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/65162e6befb048039b30bbf3b7ea35fe.png
[51ca204e3aa941cb9d39860a29f67a76.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/f38c3f92c5ca4cc8ba0ca5b93ebe9086.png
[80ebf6db4bcd46dfa4d42b00bee1201b.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/a4e4acc4140d428e8a5c544e6ca4a866.png
[eb34f0de59ee4a889fd61e6dc590b74a.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/ad27b36e329e4dac8e736f4da2d9dda9.png
[b067e2f14ff74286b2fe4d15bab0609d.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/e9be0926a10e4c7db56c65c211f4c40f.png
[074833e74be94b02b6ccc58664448898.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/fcc15dd171c34c2b990149aae93d0b92.png
[93153d89bc0e4a72a2a2417951f6a5f1.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/b282cdf10e2d417385f26146dc487e06.png
[7f6e58d5afa646faad49cf0aa5a28b60.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/e154e032fb35473e981bb5d246e2619a.png
[a3be85ab0b5747bca5bf7abe6618cc83.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/d1d701567dc64561927e787f4ee335c8.png