hive编写udf实践记录

以你之姓@ 2022-12-20 05:48 117阅读 0赞

官方教程：https://cwiki.apache.org/confluence/display/Hive/HivePlugins  
简单使用查看上面官方的文档即可。这里记录一下我使用的实践和一点注意事项。

### 文章目录 ###

*   *  一 编写udf
     *   *  gradle配置
         *  UDF类
         *  打jar包
     *  二 创建function
     *   *  1 创建临时function
         *  2 创建永久function

## 一 编写udf ##

这里的需求是写一个udf，用于将经纬度转换成geohash。参数有 经纬度和geohash的精度。

### gradle配置 ###

gradle 部分配置如下：

dependencies {
        compile group: 'ch.hsr', name: 'geohash', version: '1.3.0'
        compileOnly group: 'org.apache.hive', name: 'hive-exec', version: '2.3.6'
    }
    
    task fatJar(type: Jar) {
        //baseName = project.name
        baseName = 'hiveFunction'
        project.fileTree("$buildDir/fatjar/libs").forEach { jarFile ->
            from zipTree(jarFile )
        }
        with jar
        destinationDir = file("$buildDir/fatjar")
    }
    
    task copyToLib(type: Copy) {
        into "$buildDir/fatjar/libs"
        from configurations.runtime
    }

### UDF类 ###

GeoHashUDF.java 代码如下：  
这里需要注意的就是注释的写法，以及异常的处理。  
因为在hive执行的过程中，如果udf抛一个异常出来，有可能会导致整个hive sql执行的失败。所以，对于业务异常，应该避免向外抛出。  
以本geohash的udf为例，如果给定的经纬度不合法，则可返回用0填充的默认字符串。

import ch.hsr.geohash.GeoHash;
    import org.apache.hadoop.hive.ql.exec.Description;
    import org.apache.hadoop.hive.ql.exec.UDF;
    
    import java.util.HashMap;
    import java.util.Map;
    
    @Description(
            name = "geohash",
            value = "_FUNC_(double lat,double lon,int precison) - Returns geohash",
            extended = "Example:\n > SELECT _FUNC_(\'20.1,111.2,6\') FROM src LIMIT 1;\n \'hello:Facebook\'"
    )
    public class GeoHashUDF extends UDF { 
    
        private static Map<Integer,String> defaultValueMap = new HashMap<> ();
    
        static { 
            StringBuilder sb = new StringBuilder("");
            for(int i = 0; i < 20; i++){ 
                defaultValueMap.put(i,sb.toString());
                sb.append(0);
            }
        }
    
        public String evaluate (Double lat,Double lon,Integer precision) { 
            try { 
                return GeoHash.geoHashStringWithCharacterPrecision(lat, lon, precision);
            }catch (Exception e) { 
                return defaultValueMap.get(precision);
            }
        }
    
        public static void main(String[] args) { 
            System.out.println(new GeoHashUDF().evaluate(20.1,111.2,6));
        }
    
    }

### 打jar包 ###

先执行gradle copyToLib，再执行 gradle fatJar  
得到 hiveFunction.jar

## 二 创建function ##

### 1 创建临时function ###

1.  先将生成的jar包添加到hive的lib目录下

\cp -f hiveFunction.jar $HIVE_HOME/lib/

1.  再在hive shell里面执行以下命令即可，注意要使用全称类名

create temporary function geohash as 'GeoHashUDF';

1.  删除

drop temporary function if exists geohash;

### 2 创建永久function ###

1.  上传jar包到hdfs上