轻松入门大数据第10章入门到进阶：如何快速掌握Hive核心函数 10.1 Hive函数 10.1.18 动手实操开发自定义UDTF函数开发及使用

阳光穿透心脏的1/2处 2024-03-16 11:34 33阅读 0赞

### 轻松入门大数据 ###

#### 文章目录 ####

*   *  轻松入门大数据
     *   *  第10章 入门到进阶：如何快速掌握Hive核心函数
         *   *  10.1 Hive函数
             *   *  10.1.18 动手实操开发自定义UDTF函数开发及使用

![在这里插入图片描述][8e8ff8a90dc147b08ab908e55d8618ba.png_pic_center]

#### 第10章 入门到进阶：如何快速掌握Hive核心函数 ####

##### 10.1 Hive函数 #####

> 1.  复杂数据类型
> 2.  Hive内置函数
> 3.  Hive UDF函数
> 4.  窗口分析函数
> 5.  SQL场景题

###### 10.1.18 动手实操开发自定义UDTF函数开发及使用 ######

之前我们已经提到过，炸裂那个东西

![在这里插入图片描述][8be48a1af0384924b0bb3a90f775e226.png_pic_center]

来一个需求：

pk_split("pk,pk,spark",",")		
    pk_split("pk:pk:spark",":")

把这样一个字符串炸开，得到下面的结果：

pk
    pk
    spark

新建一个类完成业务：

package com.dingjiaxiong.hive.udf;
    
    import org.apache.hadoop.hive.ql.exec.UDFArgumentException;
    import org.apache.hadoop.hive.ql.metadata.HiveException;
    import org.apache.hadoop.hive.ql.udf.generic.GenericUDTF;
    import org.apache.hadoop.hive.serde2.objectinspector.ObjectInspector;
    import org.apache.hadoop.hive.serde2.objectinspector.ObjectInspectorFactory;
    import org.apache.hadoop.hive.serde2.objectinspector.StructObjectInspector;
    import org.apache.hadoop.hive.serde2.objectinspector.primitive.PrimitiveObjectInspectorFactory;
    
    import java.util.ArrayList;
    import java.util.List;
    
    /**
     * @Author Ding Jiaxiong
     * @Date 5/13/23 10:29 AM
     */
    public class UDTFDingJiaxiongSplit extends GenericUDTF {
        
    
        private List<String> outs = new ArrayList<String>();
    
        @Override
        public StructObjectInspector initialize(StructObjectInspector argOIs) throws UDFArgumentException {
        
    
            List<String> fieldNames = new ArrayList<String>();
            List<ObjectInspector> fieldOIs = new ArrayList<ObjectInspector>();
    
            fieldNames.add("word");
            fieldOIs.add(PrimitiveObjectInspectorFactory.javaStringObjectInspector);
    
            return ObjectInspectorFactory.getStandardStructObjectInspector(fieldNames,
                    fieldOIs);
        }
    
        @Override
        public void process(Object[] args) throws HiveException {
        
            String input = args[0].toString();
            String splitParam = args[1].toString();
    
            String[] fields = input.split(splitParam);
            for (String field : fields) {
        
                outs.clear();
                outs.add(field);
                forward(outs);
            }
        }
    
        @Override
        public void close() throws HiveException {
        
    
        }
    }

![在这里插入图片描述][1a04b1a993454c0b83724eb739e34870.png_pic_center]

OK，同样的方法，打包复制到`lib`

![在这里插入图片描述][aee238a874f940ab8cbd00744930ef33.png_pic_center]

复制：`cp ~/source/dingjiaxiong-hadoop/target/dingjiaxiong-hadoop-1.0.jar ~/lib/`

![在这里插入图片描述][ccbbd674d8ec4e5499b048ee85469c17.png_pic_center]

OK，新建临时函数

add jar /home/hadoop/lib/dingjiaxiong-hadoop-1.0.jar;
    CREATE TEMPORARY FUNCTION djx_split AS "com.dingjiaxiong.hive.udf.UDTFDingJiaxiongSplit";

> 这里记得重新开一个会话

![在这里插入图片描述][49ac04ebcc4944a8acce0445d895aaf3.png_pic_center]

OK， 用一下

select djx_split("ding:ding:ding:hive:spark",":");

![在这里插入图片描述][64fec3185ba24847946c9362ac6581e3.png_pic_center]

没问题。

这就是自定义UDTF 函数。

[8e8ff8a90dc147b08ab908e55d8618ba.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/c583c49ab9774516bc17ab4fbf341de7.png
[8be48a1af0384924b0bb3a90f775e226.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/7064ef181a1049ae8fde9b388c14a12a.png
[1a04b1a993454c0b83724eb739e34870.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/e4f7dfc2435943d99896076c2a14c611.png
[aee238a874f940ab8cbd00744930ef33.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/86924c1d57e0460ab0297c3ff691a873.png
[ccbbd674d8ec4e5499b048ee85469c17.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/7e4eef0ee57143a493a85bca86dccde4.png
[49ac04ebcc4944a8acce0445d895aaf3.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/80b6b57dc9044dc18a84f57204dcea98.png
[64fec3185ba24847946c9362ac6581e3.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/4ce2ab9ac417401f8f56f39afb447ad6.png