轻松入门大数据第10章入门到进阶：如何快速掌握Hive核心函数 10.1 Hive函数 10.1.17 动手实操开发自定义UDF函数之新版本UDF开发及使用

痛定思痛。 2024-03-16 11:34 5阅读 0赞

### 轻松入门大数据 ###

#### 文章目录 ####

*   *  轻松入门大数据
     *   *  第10章 入门到进阶：如何快速掌握Hive核心函数
         *   *  10.1 Hive函数
             *   *  10.1.17 动手实操开发自定义UDF函数之新版本UDF开发及使用

![在这里插入图片描述][58f84acfbe3b4379b47f474d8e98a75f.png_pic_center]

#### 第10章 入门到进阶：如何快速掌握Hive核心函数 ####

##### 10.1 Hive函数 #####

> 1.  复杂数据类型
> 2.  Hive内置函数
> 3.  Hive UDF函数
> 4.  窗口分析函数
> 5.  SQL场景题

###### 10.1.17 动手实操开发自定义UDF函数之新版本UDF开发及使用 ######

当我们查看一个函数的描述信息时：

比如：

desc function extended upper;

![在这里插入图片描述][c94fafb6db1a4c5fbc33589e38a62368.png_pic_center]

这些信息哪儿来的。

在源码中找一下这个类：`org.apache.hadoop.hive.ql.udf.generic.GenericUDFUpper`

![在这里插入图片描述][a69fa97de8bd4be4804c403f19a1eebb.png_pic_center]

就这个，所以现在我们也可以给自己的UDF 加上这种描述信息

没加的时候是下面这样的

![在这里插入图片描述][c029e18947734aa180db25a70d59b8ec.png_pic_center]

对这个函数没有相应的文档

按照它的规范加上就行了

![在这里插入图片描述][56c6daa37b504f8cb00e33eb774c74a0.png_pic_center]

![在这里插入图片描述][38cdaf64df304fb39988fe3a5006487f.png_pic_center]

但是我们现在的这种写法已经过时了，可以看到被标记了

![在这里插入图片描述][283e48a2503f48c9851ed9fd59f59d12.png_pic_center]

让我们使用这个

那就改一下嘛

重新来一个类：

package com.dingjiaxiong.hive.udf;
    
    import org.apache.hadoop.hive.ql.exec.UDFArgumentException;
    import org.apache.hadoop.hive.ql.metadata.HiveException;
    import org.apache.hadoop.hive.ql.udf.generic.GenericUDFUpper;
    import org.apache.hadoop.hive.serde2.objectinspector.ObjectInspector;
    import org.apache.hadoop.hive.serde2.objectinspector.primitive.PrimitiveObjectInspectorFactory;
    
    /**
     * @Author Ding Jiaxiong
     * @Date 5/13/23 10:12 AM
     */
    public class UDFHelloNew extends GenericUDFUpper {
        
    
        /**
         * 初始化操作
         *
         * @param arguments
         * @return
         * @throws UDFArgumentException
         */
        @Override
        public ObjectInspector initialize(ObjectInspector[] arguments) throws UDFArgumentException {
        
    
            if (arguments.length != 1) {
        
                throw new UDFArgumentException("参数个数只能为1");
            }
    
            return PrimitiveObjectInspectorFactory.javaStringObjectInspector;
        }
    
        /**
         * 处理业务逻辑
         *
         * @param arguments
         * @return
         * @throws HiveException
         */
        @Override
        public Object evaluate(DeferredObject[] arguments) throws HiveException {
        
    
            // 如果arguments[0]为空呢？ 还需要添加判空处理
            String input = arguments[0].get().toString();
    
            return "Hello:" + input;
        }
    
        @Override
        public String getDisplayString(String[] children) {
        
            return null;
        }
    }

![在这里插入图片描述][18ac33b1cb3e4f1d800946cb7b481108.png_pic_center]

重新打包这个工程为jar 包

![在这里插入图片描述][4734f07edffd48beb5c7140ec84ca0a0.png_pic_center]

OK， 传到我们那个目录中

`cp ~/source/dingjiaxiong-hadoop/target/dingjiaxiong-hadoop-1.0.jar ~/lib/`

![在这里插入图片描述][b9269571296e4635b1089857ba8b2190.png_pic_center]

这次我们创建一个临时函数测试：

add jar /home/hadoop/lib/dingjiaxiong-hadoop-1.0.jar;
    CREATE TEMPORARY FUNCTION say_hello_new AS "com.dingjiaxiong.hive.udf.UDFHelloNew";

![在这里插入图片描述][cd153c43c012402f97b920f11a03bd3a.png_pic_center]

先看一下有没有这个函数

![在这里插入图片描述][acb8a4b23bf5482fa0502e3df6b59963.png_pic_center]

没问题的。

那就用一下

select ename,say_hello_new(ename) from emp;

![在这里插入图片描述][1c42e74974f54a19b521c6d88b0a67b4.png_pic_center]

没问题。

当然这种方式只是当前会话有效。

![在这里插入图片描述][15c799864f9b4df9be8a4a3d066d9ad2.png_pic_center]

元数据信息中并没有注册。

[58f84acfbe3b4379b47f474d8e98a75f.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/5df386184a3f45249092339a19a78f30.png
[c94fafb6db1a4c5fbc33589e38a62368.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/e71a1bf23f184d3ca8fb1749638c2e75.png
[a69fa97de8bd4be4804c403f19a1eebb.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/a9bc2192062f40548307e424bdad5bfd.png
[c029e18947734aa180db25a70d59b8ec.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/f2fbae60a36a4deb952edc616bfcd75d.png
[56c6daa37b504f8cb00e33eb774c74a0.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/cd7c325a1b574d92bd73741a98ad42ee.png
[38cdaf64df304fb39988fe3a5006487f.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/22b6b86f43bb43b6973bd3320c9b0f73.png
[283e48a2503f48c9851ed9fd59f59d12.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/05794486ad494a1c928429d97a5e40db.png
[18ac33b1cb3e4f1d800946cb7b481108.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/8a1e78a842e04ac384867447a6f0014f.png
[4734f07edffd48beb5c7140ec84ca0a0.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/6ad4d1b76f7e47ce87995b72fb9bafbc.png
[b9269571296e4635b1089857ba8b2190.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/904b9352b7c747b39936523b9cfe6d4f.png
[cd153c43c012402f97b920f11a03bd3a.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/066ff1a98ee14ebfb58fc88e44378bd2.png
[acb8a4b23bf5482fa0502e3df6b59963.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/3cd47095e0d4424885ce7558dd9c9d84.png
[1c42e74974f54a19b521c6d88b0a67b4.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/538d061deaef4bdb995c6760efd6bd52.png
[15c799864f9b4df9be8a4a3d066d9ad2.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/05b5e63e29d74953b23bd1598c9b9b09.png